![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
Song_MJ
这个作者很懒,什么都没留下…
展开
-
(施工中)大数据Spark Streaming实时项目:日志+Flume+Kafka+Spark Streaming+HBase+ECharts
需求:实时显示网址的点击量编写日志生成脚本,编写Flume配置文件,Flume source为日志文件,Flume sink为Kafka,编写Spark Streaming程序,整合Kafka,清洗数据,把统计结果写入到HBase数据库中,最后把数据展示出来------ 实时日志 -> Flume ------1 编写Python脚本模拟生成用户搜索数据(generate_log....原创 2020-05-07 12:13:35 · 944 阅读 · 1 评论 -
Log4j + Flume + Kafka + Spark Streaming整合
------ log4j -> Flume ------1 编写log4j.properties配置文件(log4j.properties)(Flume source接收的hostname和port在log4j.properties文件中配置)2 添加flume-log4jappender依赖(flume_log4j_依赖)3 编写自动生成日志的java程序(LoggerGenerat...原创 2020-04-09 15:06:32 · 296 阅读 · 0 评论 -
Spark Streaming 整合 Kafka(Direct方式)在本地运行以及在集群中运行
Direct方法与Receiver方法对比及优势1 简化并行度:简化并行度不需要创建多个输入流然后再进行合并。使用Direct方法Spark Streaming创建的RDD分区数与Kafka的分区一样多,这些RDD分区都从Kafka并行读取数据。因此,Kafka分区和RDD分区存在存在一对一的映射关系,这更已于理解和调整2 提升效率:Receiver方法为了实现数据零丢失,需要将数据存储在预写...原创 2020-04-08 18:44:39 · 439 阅读 · 0 评论 -
Spark Streaming 整合 Kafka(Receiver方式)在生产集群运行
Spark Streaming 整合 Kafka(Receiver方式)在生产集群运行步骤概述1 启动zookeeper2 启动Kafa3 创建kafka topic4 通过控制台测试本kafka topic是否能够正常的生产和消费信息5 写Spark Streaming代码6 使用mvn命令打包7 下载spark-streaming-kafka-0-8-assembly_2.11...原创 2020-04-08 12:34:30 · 201 阅读 · 0 评论 -
Spark Streaming 整合 Kafka(Receiver方式)在本地环境运行
步骤概述1 启动zookeeper2 启动Kafa3 创建kafka topic4 通过控制台测试本kafka topic是否能够正常的生产和消费信息5 写Spark Streaming代码6 启动Spark Streaming程序(传入参数zookeeper,group,topic,线程数)(传入参数 hadoop000:2181 test kafka_streaming_topi...原创 2020-04-03 19:02:32 · 164 阅读 · 0 评论