大数据
Last_xuan1
这个作者很懒,什么都没留下…
展开
-
古诗推荐服务
项目地址 项目地址 https://github.com/Liangzhuoxuan/PoemRS 推荐服务架构设计 使用基于大数据的推荐架构 基于 Hadoop 的数据存储 基于 Spark 的数据预处理和特征工程(离线层) 基于 Hive 的数据管理 基于 Flume + Spark-Streaming + Redis 的数据采集及传输(在线层) ...原创 2020-11-21 11:09:30 · 412 阅读 · 0 评论 -
Flume 对接 Spark-Streaming
用 Flume 收集实时点击日志,以 Http 请求的形式 Post Json 数据,传入 Flume,通过 SparkStreaming 对数据进行处理,此处 SparkStreaming 于 Flume 对接的方式是 Push,所以启动顺序是先启动 SparkStreaming 再 启动 Flume 添加依赖到 Maven <?xml version="1.0" encoding="UT...原创 2020-02-29 22:44:47 · 392 阅读 · 1 评论 -
集群配置 zookeeper
环境:虚拟机,三台centos7,已经配置hadoop ip: 192.168.243.200 master 192.168.243.201 slave1 192.168.243.202 slave2 三台机器均进行以下配置和操作 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 解压 zookeeper 的压缩包 cd /u...原创 2020-01-21 12:17:26 · 117 阅读 · 0 评论