![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
Movle
this is the way
展开
-
Kafka-概述
一.Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为原创 2020-06-06 11:03:40 · 245 阅读 · 0 评论 -
Kafka集群安装部署
一. 环境准备1.集群规划hadoop2hadoop3hadoop4zkzkzkkafkakafkakafka2.jar包下载http://kafka.apache.org/downloads.html3.虚拟机准备(1).准备3台虚拟机(2).配置ip地址(3).配置主机名称(4).3台主机分别关闭防火墙4.安装jdk5.安装Zookeeper在hadoop2、hadoop3和hadoop4三个节点上部署Zookeeper见之前的文章二.原创 2020-06-06 11:06:00 · 383 阅读 · 0 评论 -
Kafka命令行操作
1.查看当前服务器中的所有topicbin/kafka-topics.sh --zookeeper bigdata13:2181 --list2.创建topicbin/kafka-topics.sh --zookeeper bigdata13:2181 --create --replication-factor 3 --partitions 1 --topic first选项说明:--topic 定义topic名--replication-factor 定义副本数--partitio原创 2020-06-06 11:06:57 · 224 阅读 · 1 评论 -
Kafka之Broker配置信息
属性默认值描述broker.id必填参数,broker的唯一标识log.dirs/tmp/kafka-logsKafka数据存放的目录。可以指定多个目录,中间用逗号分隔,当新partition被创建的时会被存放到当前存放partition最少的目录。port9092BrokerServer接受客户端连接的端口号zookeeper.connectnullZookeeper的连接串,格式为:hostname1:port1,hostname2:port2,h...原创 2020-06-06 11:07:33 · 566 阅读 · 0 评论 -
Kafka之Producer配置信息
属性默认值描述metadata.broker.list启动时producer查询brokers的列表,可以是集群中所有brokers的一个子集。注意,这个参数只是用来获取topic的元信息用,producer会从元信息中挑选合适的broker并与之建立socket连接。格式是:host1:port1,host2:port2request.required.acks0参见3.2节介绍request.timeout.ms10000Broker等待ack的超时时间,若...原创 2020-06-06 11:08:08 · 635 阅读 · 0 评论 -
Kafka之Consumer配置信息
属性默认值描述group.idConsumer的组ID,相同goup.id的consumer属于同一个组zookeeper.connectConsumer的zookeeper连接串,要和broker的配置一致。consumer.idnull如果不设置会自动生成。socket.timeout.ms30 * 1000网络请求的socket超时时间。实际超时时间由max.fetch.wait + socket.timeout.ms 确定soc...原创 2020-06-06 11:08:36 · 505 阅读 · 0 评论 -
Kafka实战:消费者组案例
1.需求:测试同一个消费者组中的消费者,同一时刻只能有一个消费者消费。2.案例实操(1)在hadoop2、hadoop3上修改/opt/module/kafka-2.11/config/consumer.properties配置文件中的group.id属性为任意组名。vi consumer.propertiesgroup.id=movle(2)再hadoop3、hadoop4上分别启动消费者./bin/kafka-console-consumer.sh --bootstrap-serve原创 2020-06-06 11:09:38 · 513 阅读 · 0 评论