大数据
Last_xuan1
这个作者很懒,什么都没留下…
展开
-
古诗推荐服务
项目地址项目地址 https://github.com/Liangzhuoxuan/PoemRS推荐服务架构设计使用基于大数据的推荐架构基于 Hadoop 的数据存储基于 Spark 的数据预处理和特征工程(离线层)基于 Hive 的数据管理基于 Flume + Spark-Streaming + Redis 的数据采集及传输(在线层)...原创 2020-11-21 11:09:30 · 412 阅读 · 0 评论 -
Flume 对接 Spark-Streaming
用 Flume 收集实时点击日志,以 Http 请求的形式 Post Json 数据,传入 Flume,通过 SparkStreaming 对数据进行处理,此处 SparkStreaming 于 Flume 对接的方式是 Push,所以启动顺序是先启动 SparkStreaming 再 启动 Flume添加依赖到 Maven<?xml version="1.0" encoding="UT...原创 2020-02-29 22:44:47 · 392 阅读 · 1 评论 -
集群配置 zookeeper
环境:虚拟机,三台centos7,已经配置hadoopip:192.168.243.200 master192.168.243.201 slave1192.168.243.202 slave2三台机器均进行以下配置和操作关闭防火墙systemctl stop firewalld systemctl disable firewalld解压 zookeeper 的压缩包cd /u...原创 2020-01-21 12:17:26 · 117 阅读 · 0 评论