![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 68
怒上王者
加油!
展开
-
Kafka单节点部署及使用
Kafka单节点部署及使用1.下载2.上传解压3.修改配置文件4.配置环境变量修改zookeeper配置6.启动kafka6.测试创建topic查看kafka中所有topic信息创建生产者创建消费者1.下载从官网下载kafka,由于测试需要,我下载的是kafka_2.11-0.9.0.1.tgz2.上传解压将安装包上传到/opt/software目录,并解压tar -zxf kafka_2.11-0.9.0.1.tgz -C /opt/module/3.修改配置文件创建logs目录[r原创 2021-05-08 15:40:19 · 536 阅读 · 0 评论 -
Spark Streaming实时流处理项目实战(四)分布式消息队列Kafka
分布式消息队列Kafkakafka概述kafka架构及核心概念kafka部署及使用kafka容错性测试kafka API编程kafka实战kafka概述Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。kafka架构及核心概念1)Producer :消息生产者,就是向kafka broker发消息的客户端;2)Consumer :消息消费者,向kafka broker取消息的客户端;3)Consumer Group (CG):消费者组,由多个consumer组原创 2021-02-22 18:52:50 · 371 阅读 · 0 评论 -
Kafka学习之路(三)生产者&消费者实战
生产者&消费者实战1、创建一个topic (名字为first1,并设置一个副本,一个分区)2、启动producer和两个consumer生产者消费者3、消费者组一、消费者的数量大于分区的数量二、消费者少于和等于分区数三、多个消费者组1、创建一个topic (名字为first1,并设置一个副本,一个分区)kafka-topics.sh \--create \--zookeeper shouhou153:2181,shouhou155:2181,shouhou156:2181 \--replicat原创 2021-03-03 10:45:47 · 561 阅读 · 0 评论 -
Kafka学习之路(四)整合Flume和Kafka完成实时数据采集
整合Flume和Kafka完成实时数据采集架构配置文件启动启动agent2启动agent1启动消费者消费数据架构flume版本为1.7 agent1: exec source + memory channel + avro sinkagent2: avro source + memory channel + kafka sinkexec source:实时监控一个文件的内容是否有增加avro source: 监听avro端口,并且接收来自外部avro信息,avro sink:一般用于跨节原创 2021-03-02 19:28:03 · 1070 阅读 · 0 评论 -
Kafka参数设置与调优
Kafka关键参数设置 生产环境中使用Kafka,参数调优非常重要,而Kafka参数众多,我们的java的Configuration代码中,经常设置的参数如下:Properties props = new Properties();props.put("bootstrap.servers", "localhost:9092");props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializ转载 2021-03-02 16:42:40 · 1043 阅读 · 0 评论 -
Kafka学习之路(二)Kafka API编程之消费者
package consumer; /** * @Author Uzi * @Date 18:07 * @Version 1.0 */import java.util.Arrays;import java.util.Properties;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apac原创 2021-03-02 09:58:23 · 66 阅读 · 0 评论 -
Kafka学习之路(一)Kafka API编程之生产者
一、新建一个Maven项目1.点击“Create New Project”选项2. 选择maven选项,选择JDK版本,“Create From Archetype”复选框可以不用选择 点击【Next】3. 给项目起一个名字,“groupId”,“artifactId”,“version”可以更改,也可以默认,填写完之后,点击【Finish】 4.由于我配置了全局Maven,所以不用选择Maven路径,直接使用我本机默认的Maven仓库>二、设置pom文件pom.xml文件<原创 2021-02-23 19:57:22 · 111 阅读 · 0 评论 -
kafka不同消费者组消费消息
原创 2021-02-20 09:15:18 · 1135 阅读 · 0 评论