![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据之路
Alenlyx
这个作者很懒,什么都没留下…
展开
-
Flink-Kafka-MySQL
2018年开始处理大数据相关的业务,Flink作为流处理新秀,在实时计算领域发挥着越来越大作用,本文主要整理在以往开发中Flink使用Kafka作为数据源,计算处理之后,再将数据存到MySQL的处理过程。前置条件启动zookeeper,启动kafka业务系统发送消息到Kafka,使之作为数据源import com.alibaba.fastjson.JSON;import com.exa...原创 2019-06-26 16:30:39 · 1755 阅读 · 0 评论 -
Spark Job记录查看
修改配置文件cd /opt/spark/confcp spark-defaults.conf.template spark-defaults.confvi spark-defaults.conf#开启日志服务spark.eventLog.enabled true #日志存放位置spark.eventLog.dir hdfs://master:8020/var/log/spark ...原创 2019-07-12 18:16:25 · 798 阅读 · 0 评论 -
推荐系统中冷启动问题
冷启动问题是什么?推荐系统是建立在大量的用户行为数据上的,如果一个个性化推荐系统在启动之初,不具备大量的用户行为数据,怎么设计一个个性化推荐系统并且让用户对推荐的结果满意,初步产生用户粘性。这就是冷启动问题需要考虑的范畴。利用用户的注册信息主要是如何通过用户注册时填写的人口统计信息给用户提供粗粒度的个性化推荐。人口统计学信息包括:年龄、性别、工作、学历、居住地、国际、民族等。基于注册信...原创 2019-08-13 14:54:19 · 290 阅读 · 0 评论