![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
kingloneye
相信会更好!
展开
-
基于Spark Streaming & Flume & Kafka打造通用流处理基础
思路: 1、整合日志输出到Flume 2、整合Flume到Kafka 3、整合Kafka到Spark Streaming 4、Spark Streaming对接收到的数据进行处理 首先服务器集群中将日志信息通过固定的主机名和端口号,对接到Flume中的Source,然后Flume将chanel中的数据按批次sink到Kafka中,即充当Kafka中的生产者,然后,kafka把生产的数据放入到broker list中,而再将Kafka与Spark Streaming 进行对接,即让Spark Streami原创 2020-06-23 15:29:25 · 191 阅读 · 0 评论 -
Spark Streaming整合Kafka的两种方式
Spark Streaming整合Kafka,两种整合方式:Receiver-based和Direct方式 一:Kafka准备 1、分别启动zookeeper ./zkServer.sh start 2、分别启动kafka ./kafka-server-start.sh -daemon ../config/server.properties //后台启动 3、创建topic ./kafka-topics.sh --create --zookeeper hadoop:2181 --replication-原创 2020-06-22 18:22:12 · 394 阅读 · 0 评论 -
Flume应用案例之整合Flume 和 kafka完成实时数据采集
一、需求:整合Flume 和 kafka完成实时数据采集 说明:如下图 机器Agent1对应本人hadoop01虚拟机, 机器Agent2对应本人hadoop02虚拟机 1、机器Agent1监控日志文件,向机器Agent1中输入数据 2、avro sink把新产生的日志输出到对应的avro source 指定的hostname 和port上 3、通过avro source对应的agent2将日志输出到kafka(生产者) 4、由kafka consumer(消费者输出数据) 二、技术选型: 1、jdk1.原创 2020-06-14 16:01:18 · 406 阅读 · 0 评论 -
kafka生产者和消费者的javaAPI demo
1、pom.xml <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</a...原创 2020-03-11 16:52:38 · 128 阅读 · 0 评论 -
Kafka集群部署
相关定义 Topic : 消息根据Topic进行归类 Producer : 发生消息者 Consumer:消息接受者 broker:每个 kafka实例(server) kafka下载 1、在/opt目录下新建kafka目录,解压 tar -zxvf kafka_2.12-2.4.0.tgz 2、配置环境变量 vim /etc/profile #set kafka env export KAF...原创 2020-03-10 22:00:06 · 143 阅读 · 0 评论