kafka使用笔记

1.安装zookeeper
下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg:

Bash代码 收藏代码
tickTime=2000
dataDir=/Users/apple/zookeeper/data
dataLogDir=/Users/apple/zookeeper/logs
clientPort=4180
参数说明:

tickTime: zookeeper中使用的基本时间单位, 毫秒值.
dataDir: 数据目录. 可以是任意目录.
dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置.
clientPort: 监听client连接的端口号.
至此, zookeeper的单机模式已经配置好了. 启动server只需运行脚本:

Bash代码 收藏代码
bin/zkServer.sh start
 Server启动之后, 就可以启动client连接server了, 执行脚本:
Bash代码 收藏代码
bin/zkCli.sh -server localhost:4180
2，安装kafka
tar -xzf kafka_2.9.2-0.8.1.1.tgz

cd kafka_2.9.2-0.8.1.1
修改config/zookeeper.properties
config/server.properties 的端口配置


使用篇
1.先启动zookeeper
bin/zkServer.sh start
2.启动kafka维护的zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
3.启动kafka服务器
bin/kafka-server-start.sh config/server.properties

kafka服务器环境完毕，客户端代码
C语言客户端连接到zookeeper需要依赖库
1.librdkafka-master
安装。注意：./configure之前应该讲librdkafka-master中的所有文件释放权限
2.zookeeper C API 安装
下载 zookeeper-3.3.6.zip
编译 /zookeeper-3.3.6/src/c
./configure --prefix=/hfx/zookeeper
make
make install
3.安装jansson
            ./configure
            Make
            Make install


kafka 主题topic不能用：'.', '_' and '-'
num.partition 表示创建的主题的默认分区数量

kafka集群配置
单节点：一个broker的集群
单节点：多个broker的集群
多节点：多broker集群
1.zookeeper_info = "192.168.1.111:55520,192.186.1.115:55520"
2.分别启动kafka维护的两个zookeeper,192.168.1.111:55520,192.168.1.115:55520
3.配置kafka server 信息
zookeeper.proces
zookeeper_conncte=192.168.1.111:55520,192.168.1.115:55520
4.启动kafka server

注意点：
备份数量应该少于broker数量<原因查看中>

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test