记录一下kafka的学习

首先python需要安装 kafka-python

其次需要java 然后参考下面Python之Kafka安装与使用_十一姐的博客-CSDN博客_python 安装kafka文章

启动kafka前需要使用Zookeeper，如果没有安装Zookeeper，可以使用Kafka自带打包和配置好的Zookeeper。先切换到kafka_2.12-3.1.1\bin\windows目录下，如下图打开两个cmd窗口，分别执行如下两个命令，注意这两个窗口不要关
zookeeper-server-start.bat ..\..\config/zookeeper.properties

kafka-server-start.bat ..\..\config/server.properties

需要去下载kafka，然后才能在python中使用

使用接下来需要区看看怎么设置分区，生产者分区发送消息。

对于晚上所有现存方法都只有很简单的介绍，创建主题，创建分区等等一系列高级kafka操作都没有提及如何用python去快速操作。这里做一个总结

先去kafka官方文档找到可用的API以及参数，对于一个主机的broker管理者是类KafkaAdminClient

admin=KafkaAdminClient(bootstrap_servers=['localhost:9092'])

创建好管理者后，可以看到文档中creat_topics中需要的对象是NewTopic，所以取找这个对象。

用pycharm打开然后ctrl+shift+r打开项目搜索，搜索NewTopic，找到位置后导入，常见实例对象作为create的参数即可。

 然后list可以查看所有主题名字，desc是详细信息KafkaAdminClient — kafka-python 2.0.2-dev documentation

有不懂的就去看文档，很有用。pycharm项目搜索很好用，孩子很喜欢

KafkaConsumer — kafka-python 2.0.2-dev documentation

如果有修改 查看kafka的需求点开这个链接就行，consumer里面很多对于offset的API