kafka安装_写给自己看的
下载地址
官网下载地址 http://archive.apache.org/dist/kafka/2.0.0/
链接:https://pan.baidu.com/s/1awVKXchSA5sSCNveTIQlww
提取码:3e87
安装
一解压
tar -xzf kafka_2.12-2.0.0.tgz
二配置server.properties
1.
advertised.listeners=PLAINTEXT://:your.host.name:9092
修改为
advertised.listeners=PLAINTEXT://:xxxipxxx:9092
2. 搜zookeeper.connect 然后赋值正确的zkip
zookeeper.connect=xxxzkipxxx:2181,xxxzkipxxx:2181,xxxzkipxxx:2181
三启动zk
详细地址见
四 启动kafka
kafka操作命令
启动kafka
/usr/local/kafka_2.12-2.0.0/bin/kafka-server-start.sh /usr/local/kafka_2.12-2.0.0/config/server.properties
停止kafka
/usr/local/kafka_2.12-2.0.0/bin/kafka-server-stop.sh /usr/local/kafka_2.12-2.0.0/config/server.properties
主题
主题创建
/usr/local/kafka_2.12-2.0.0/bin/kafka-topics.sh --create --zookeeper xxxzkipxxx:2181 --replication-factor 1 --partitions 1 --topic xxxdemoxxx
主题查询列表
/usr/local/kafka_2.12-2.0.0/bin/kafka-topics.sh --list --zookeeper xxxzkipxxx:2181
主题查询详情
/usr/local/kafka_2.12-2.0.0/bin/kafka-topics.sh --zookeeper xxxzkipxxx:2181 --describe --topic xxxdemoxxx
主题删除
/usr/local/kafka_2.12-2.0.0/bin/kafka-topics.sh --zookeeper xxxzkipxxx:2181 --delete --topic xxxdemoxxx
主题相关kafka日志文件
[root@localhost logs]# cd /tmp/kafka-logs/
[root@localhost kafka-logs]# ls -l
总用量 16
-rw-r--r--. 1 root root 0 7月 20 16:51 cleaner-offset-checkpoint
drwxr-xr-x. 2 root root 141 7月 20 17:07 demo-0
-rw-r--r--. 1 root root 4 7月 20 17:10 log-start-offset-checkpoint
-rw-r--r--. 1 root root 54 7月 20 16:51 meta.properties
-rw-r--r--. 1 root root 13 7月 20 17:10 recovery-point-offset-checkpoint
-rw-r--r--. 1 root root 13 7月 20 17:10 replication-offset-checkpoint
默认提供demo
demo生产端
/usr/local/kafka_2.12-2.0.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic xxxdemoxxx
demo消费端
/usr/local/kafka_2.12-2.0.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic xxxdemoxxx --from-beginning
kafka-connector连接器PG的消费端启动
/usr/local/kafka_2.12-2.0.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic fullfillment.public.t_order_0 --from-beginning
参考地址
应用接入
消费延时的可能性
- 消费端处理时间能力过长,kafka认为位点失效触发自身再均衡其中超时多久可以设置
- 在消费者组增加减少新消费成员时肯定会发生再均衡
- 如果一个消费组订阅主题过多,再均衡时间就会过长(可以限制一个消费组最多可以订阅10个主题,这样一旦再均衡kafka如果抽风也不会过久)
kafka消费推拉方式
一种是推 一种是拉 我们选择的是拉取基于以下原因:
- 一下批量拉取多条记录,然后处理完成后,手工提交offset(位点)
消费失败后比如批量拉取30条,第16条消费失败了怎么处理
失败的那条重试三次后,仍死信后,然后提交位点,继续消费后面30条 即
出异常本条记录重试几次如果还不成功就扔死信
关于死信主题:
一个劲儿的在死信主题中进行拉取操作,尝试消费操作不行再送死信如此循环
保持消息的顺序性
多条SQL 可以使用拿到主键的值 然后进行Hash分片到后得到一个固定的partionKey 通过这个partionKey来保证所有的顺序性的消息都打在一个队列,这样就保持了消息的顺序性