kafka使用教程

指令集

 	---kakfa指令
  	cd /usr/local/server/kafka_2.11-0.10.1.0/bin
  	查看topic列表
		./kafka-topics.sh --list --zookeeper 172.0.0.1:2181
  	新建topic  
		./kafka-topics.sh --create --zookeeper 172.0.0.1:2181 --replication-factor 1 --partitions 1 --topic dgpTest
		副本数量	replication-factor	设置1-2即可
		分区数量	partitions		设置3的倍数，一个节点至少消费三个分区
  	删除topic
		./kafka-topics.sh --zookeeper 172.0.0.1:2181 --delete --topic dgpTest
  		 需要server.properties中设置delete.topic.enable=true否则只是标记删除
	立即删除某个topic下的数据
		./kafka-topics.sh --zookeeper 172.0.0.1:2181 --alter --topic dgpTest --config cleanup.policy=delete
  	发送消息  
		./kafka-console-producer.sh --broker-list 172.20.4.228:9092 --topic zhiji
    		然后输入下面后 >test for zhiji 回车
  	消费消息  
		./kafka-console-consumer.sh  --bootstrap-server 172.20.4.228:9092 --from-beginning --topic zhiji
    		--from-beginning：会把主题中以往所有的数据都读取出来
  	查看某个Topic的详情
    		./kafka-topics.sh --zookeeper 172.0.0.1:2181 --describe --topic zhiji
  	修改分区数 
		./kafka-topics.sh --zookeeper 172.0.0.1:2181 --alter --topic zhiji --partitions 6
  	查看kafka版本
   		cd libs文件夹
  		看到像kafka_2.10-0.8.2-beta.jar这样的文件，其中2.10是Scala版本，0.8.2-beta是Kafka版本。
   		kafka_2.11-0.10.1.0.jar
	启动kafka
		cd kafka目录
		控制台启动	bin/kafka-server-start.sh config/server.properties
		后台启动	sh kafka-server-start.sh config/server.properties &
	单对某一个topic设置过期时间
		retention.ms=86400000 为一天，单位是毫秒
		./kafka-configs.sh --zookeeper 172.0.0.1:2181 --alter --entity-name tomcat_app_log_1 --entity-type topics --add-config retention.ms=86400000
		./kafka-configs.sh --zookeeper 172.0.0.1:2181 --alter --entity-name tomcat_catalina_1 --entity-type topics --add-config retention.ms=86400000
		./kafka-configs.sh --zookeeper 172.0.0.1:2181 --alter --entity-name nginx_access --entity-type topics --add-config retention.ms=86400000
		./kafka-configs.sh --zookeeper 172.0.0.1:2181 --alter --entity-name linux --entity-type topics --add-config retention.ms=86400000
	查看topic过期时间
		./kafka-configs.sh --zookeeper 172.0.0.1:2181 --describe --entity-name tomcat_app_log_1 --entity-type topics
		./kafka-configs.sh --zookeeper 172.0.0.1:2181 --describe --entity-name tomcat_catalina_1 --entity-type topics
		./kafka-configs.sh --zookeeper 172.0.0.1:2181 --describe --entity-name nginx_access  --entity-type topics
		./kafka-configs.sh --zookeeper 172.0.0.1:2181 --describe --entity-name linux  --entity-type topics
		

注意

kafka不能用root启动