![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
kingloneye
相信会更好!
展开
-
基于Spark Streaming & Flume & Kafka打造通用流处理基础
思路:1、整合日志输出到Flume2、整合Flume到Kafka3、整合Kafka到Spark Streaming4、Spark Streaming对接收到的数据进行处理首先服务器集群中将日志信息通过固定的主机名和端口号,对接到Flume中的Source,然后Flume将chanel中的数据按批次sink到Kafka中,即充当Kafka中的生产者,然后,kafka把生产的数据放入到broker list中,而再将Kafka与Spark Streaming 进行对接,即让Spark Streami原创 2020-06-23 15:29:25 · 213 阅读 · 0 评论 -
Spark Streaming整合Kafka的两种方式
Spark Streaming整合Kafka,两种整合方式:Receiver-based和Direct方式一:Kafka准备1、分别启动zookeeper./zkServer.sh start2、分别启动kafka./kafka-server-start.sh -daemon ../config/server.properties //后台启动3、创建topic./kafka-topics.sh --create --zookeeper hadoop:2181 --replication-原创 2020-06-22 18:22:12 · 414 阅读 · 0 评论 -
Flume应用案例之整合Flume 和 kafka完成实时数据采集
一、需求:整合Flume 和 kafka完成实时数据采集说明:如下图机器Agent1对应本人hadoop01虚拟机,机器Agent2对应本人hadoop02虚拟机1、机器Agent1监控日志文件,向机器Agent1中输入数据2、avro sink把新产生的日志输出到对应的avro source 指定的hostname 和port上3、通过avro source对应的agent2将日志输出到kafka(生产者)4、由kafka consumer(消费者输出数据)二、技术选型:1、jdk1.原创 2020-06-14 16:01:18 · 407 阅读 · 0 评论 -
kafka生产者和消费者的javaAPI demo
1、pom.xml<!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</a...原创 2020-03-11 16:52:38 · 150 阅读 · 0 评论 -
Kafka集群部署
相关定义Topic : 消息根据Topic进行归类Producer : 发生消息者Consumer:消息接受者broker:每个 kafka实例(server)kafka下载1、在/opt目录下新建kafka目录,解压tar -zxvf kafka_2.12-2.4.0.tgz2、配置环境变量vim /etc/profile#set kafka envexport KAF...原创 2020-03-10 22:00:06 · 147 阅读 · 0 评论