kafka安装_写给自己看的

下载地址

官网下载地址 http://archive.apache.org/dist/kafka/2.0.0/
链接：https://pan.baidu.com/s/1awVKXchSA5sSCNveTIQlww
提取码：3e87

安装

一解压

tar -xzf kafka_2.12-2.0.0.tgz

二配置server.properties

1.
advertised.listeners=PLAINTEXT://:your.host.name:9092 
修改为 
advertised.listeners=PLAINTEXT://:xxxipxxx:9092
2. 搜zookeeper.connect  然后赋值正确的zkip
zookeeper.connect=xxxzkipxxx:2181,xxxzkipxxx:2181,xxxzkipxxx:2181

三启动zk
详细地址见
四 启动kafka

kafka操作命令

启动kafka

/usr/local/kafka_2.12-2.0.0/bin/kafka-server-start.sh /usr/local/kafka_2.12-2.0.0/config/server.properties

停止kafka

/usr/local/kafka_2.12-2.0.0/bin/kafka-server-stop.sh /usr/local/kafka_2.12-2.0.0/config/server.properties

主题

主题创建

/usr/local/kafka_2.12-2.0.0/bin/kafka-topics.sh --create --zookeeper xxxzkipxxx:2181 --replication-factor 1 --partitions 1 --topic xxxdemoxxx

主题查询列表

/usr/local/kafka_2.12-2.0.0/bin/kafka-topics.sh --list --zookeeper xxxzkipxxx:2181

主题查询详情

/usr/local/kafka_2.12-2.0.0/bin/kafka-topics.sh --zookeeper xxxzkipxxx:2181 --describe --topic xxxdemoxxx

主题删除

/usr/local/kafka_2.12-2.0.0/bin/kafka-topics.sh --zookeeper xxxzkipxxx:2181 --delete --topic xxxdemoxxx

主题相关kafka日志文件

[root@localhost logs]# cd /tmp/kafka-logs/
[root@localhost kafka-logs]# ls -l
总用量 16
-rw-r--r--. 1 root root   0 7月  20 16:51 cleaner-offset-checkpoint
drwxr-xr-x. 2 root root 141 7月  20 17:07 demo-0
-rw-r--r--. 1 root root   4 7月  20 17:10 log-start-offset-checkpoint
-rw-r--r--. 1 root root  54 7月  20 16:51 meta.properties
-rw-r--r--. 1 root root  13 7月  20 17:10 recovery-point-offset-checkpoint
-rw-r--r--. 1 root root  13 7月  20 17:10 replication-offset-checkpoint

默认提供demo

demo生产端

/usr/local/kafka_2.12-2.0.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic xxxdemoxxx

demo消费端

/usr/local/kafka_2.12-2.0.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic xxxdemoxxx --from-beginning

kafka-connector连接器PG的消费端启动

/usr/local/kafka_2.12-2.0.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic fullfillment.public.t_order_0 --from-beginning

参考地址

连接

应用接入

消费延时的可能性

• 消费端处理时间能力过长,kafka认为位点失效触发自身再均衡其中超时多久可以设置
• 在消费者组增加减少新消费成员时肯定会发生再均衡
• 如果一个消费组订阅主题过多,再均衡时间就会过长(可以限制一个消费组最多可以订阅10个主题,这样一旦再均衡kafka如果抽风也不会过久)

kafka消费推拉方式

一种是推 一种是拉 我们选择的是拉取基于以下原因:

• 一下批量拉取多条记录,然后处理完成后,手工提交offset(位点)

消费失败后比如批量拉取30条,第16条消费失败了怎么处理

失败的那条重试三次后,仍死信后,然后提交位点,继续消费后面30条 即
出异常本条记录重试几次如果还不成功就扔死信
关于死信主题:
一个劲儿的在死信主题中进行拉取操作,尝试消费操作不行再送死信如此循环

保持消息的顺序性

多条SQL 可以使用拿到主键的值 然后进行Hash分片到后得到一个固定的partionKey 通过这个partionKey来保证所有的顺序性的消息都打在一个队列,这样就保持了消息的顺序性