- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 关于服务器之间的无密码登录自己的实践
整体思路是在开始时安装网上的方式生成秘钥，然后将公钥发送到对应的服务器上，成功了就可以实现了自己遇到的坑第一次尝试：由于从网上拷贝的这个命令ssh-cory-id失效，认为ssh-cory-id这个命令不可用就用了如下方法：cat ~/.ssh/id_*.pub | ssh root@101.200.57.125 'cat >> .ssh/authorized_keys'ssh-cory-id -i ~/.ssh/id_rsa.pub root@101.200.57.125手打
2020-09-30 15:56:39
147
1
原创 用户行为收集到hive
文章目录用户日志如何收集离线部分-用户日志收集收集步骤Supervisor进程管理用户日志如何收集为用户建立画像提供依据便于了解分析用户的行为、喜好变化埋点开发测试流程一般用户有很多日志，我们当前黑马头条推荐场景统一到行为日志中，还有其它业务场景如(下单日志、支付日志)埋点参数 就是在应用中特定的流程收集一些信息，用来跟踪应用使用的状况，后续用来进一步优化产品或是提供运营的数据支撑 重要性：埋点数据是推荐系统的基石，模型训练和效果数据统计都基于埋点数据，需保证埋点数据的正确无误
2020-08-15 12:22:55
188
原创 数据库迁移
文章目录应用Sqoop完成业务数据到HIVE的导入数据库迁移需求hive 的shell操作业务数据导入存在的问题两种方式Sqoop迁移实例迁移脚本定时运行应用Sqoop完成业务数据到HIVE的导入数据库迁移需求mysql业务数据库中的数据，同步到hadoop的hive数据仓库中。为了避免直接连接、操作业务数据同步一份数据在集群中方便进行数据分析操作从mysql中迁移5张表到hive数据库中hive 的shell操作# 启动hive后 hive> show databases;O
2020-08-15 09:17:28
192
原创 hadoop(HDFS、MapReduce、Yarn)学习
HDFS（学习）主要内容HDFS（学习）HDFS是什么组件是什么架构是什么应用场景是什么，解决什么问题安装及配置每日一题（力扣）每日liunx练习5条每日sql练习HDFS是什么 HDFS 是分布式存储，数据冗余， 分布式结构 把数据进行分割，默认是128M，存储3份组件是什么 master-slave结构 client 负责文件的拆分 name node 元数据存储，监控datanode的状态 dat
2020-08-14 11:08:02
188
原创 机器学习数学基础必备
复习重点：1-梯度理解2-凸函数3-多元函数求极值4-Hession 矩阵5-最小二乘法6-拉格朗日乘子法7-泰勒公式8-矩阵基础知识9-矩阵的特征值和特征向量分解10-连续型随机变量分布11-离散型随机变量分布12-极大似然估计13-矩估计14-假设检验学习要求1.基本函数的图像，导数2.导数的运算法则（加减乘除）（常数Cf(x)的倒数）3.极值和最值求解4.多元函数求导（层层求导）这里的结果是有问题的应该是1/e 的叠加5.偏导数（三元z对x的偏导数，z对y的
2020-08-08 11:30:18
863
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人