学习类
weixin_46361646
这个作者很懒,什么都没留下…
展开
-
selenium(一)
文章目录selenium 初试原创 2020-08-19 20:42:58 · 303 阅读 · 0 评论 -
用户行为收集到hive
文章目录用户日志如何收集离线部分-用户日志收集收集步骤Supervisor进程管理用户日志如何收集为用户建立画像提供依据便于了解分析用户的行为、喜好变化埋点开发测试流程一般用户有很多日志,我们当前黑马头条推荐场景统一到行为日志中,还有其它业务场景如(下单日志、支付日志)埋点参数 就是在应用中特定的流程收集一些信息,用来跟踪应用使用的状况,后续用来进一步优化产品或是提供运营的数据支撑 重要性:埋点数据是推荐系统的基石,模型训练和效果数据统计都基于埋点数据,需保证埋点数据的正确无误原创 2020-08-15 12:22:55 · 188 阅读 · 0 评论 -
数据库迁移
文章目录应用Sqoop完成业务数据到HIVE的导入数据库迁移需求hive 的shell操作业务数据导入存在的问题两种方式Sqoop迁移实例迁移脚本定时运行应用Sqoop完成业务数据到HIVE的导入数据库迁移需求mysql业务数据库中的数据,同步到hadoop的hive数据仓库中。为了避免直接连接、操作业务数据同步一份数据在集群中方便进行数据分析操作从mysql中迁移5张表到hive数据库中hive 的shell操作# 启动hive后 hive> show databases;O原创 2020-08-15 09:17:28 · 192 阅读 · 0 评论 -
hadoop(HDFS、MapReduce、Yarn)学习
HDFS(学习)主要内容HDFS(学习)HDFS是什么组件是什么架构是什么应用场景是什么,解决什么问题安装及配置每日一题(力扣)每日liunx练习5条每日sql练习HDFS是什么 HDFS 是分布式存储,数据冗余, 分布式结构 把数据进行分割,默认是128M,存储3份组件是什么 master-slave结构 client 负责文件的拆分 name node 元数据存储,监控datanode的状态 dat原创 2020-08-14 11:08:02 · 188 阅读 · 0 评论 -
机器学习数学基础必备
复习重点:1-梯度理解2-凸函数3-多元函数求极值4-Hession 矩阵5-最小二乘法6-拉格朗日乘子法7-泰勒公式8-矩阵基础知识9-矩阵的特征值和特征向量分解10-连续型随机变量分布11-离散型随机变量分布12-极大似然估计13-矩估计14-假设检验学习要求1.基本函数的图像,导数2.导数的运算法则(加减乘除)(常数Cf(x)的倒数)3.极值和最值求解4.多元函数求导(层层求导)这里的结果是有问题的应该是1/e 的叠加5.偏导数(三元z对x的偏导数,z对y的原创 2020-08-08 11:30:18 · 874 阅读 · 0 评论