kafka安装

> tar -xzf kafka_2.11-1.0.0.tgz
> cd kafka_2.11-1.0.0
systemctl stop firewalld

 bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
 bin/kafka-server-start.sh -daemon config/server.properties
 

 让我们创建一个名为“test”的topic，它有一个分区和一个副本：

1
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
现在我们可以运行list（列表）命令来查看这个topic：

1
2
> bin/kafka-topics.sh --list --zookeeper localhost:2181
test

Step 4: 发送一些消息
Kafka自带一个命令行客户端，它从文件或标准输入中获取输入，并将其作为message（消息）发送到Kafka集群。默认情况下，每行将作为单独的message发送。

运行 producer，然后在控制台输入一些消息以发送到服务器。

1
2
3
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message
Step 5: 启动一个 consumer
Kafka 还有一个命令行consumer（消费者），将消息转储到标准输出。

1
2
3
> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message

sniffer-agent --export_type=kafka --kafka-server=192.168.202.182:9092 --kafka-group-id=sniffer --kafka-async-topic=non_ddl_sql_collector --kafka-sync-topic=ddl_sql_collector --log_level=info --port=3306 --interface=ens33

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic non_ddl_sql_collector
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic ddl_sql_collector

/download/kafka_2.11-1.0.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic non_ddl_sql_collector --from-beginning

/download/kafka_2.11-1.0.0/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic non_ddl_sql_collector --from-beginning

 bin/kafka-console-producer.sh --broker-list 172.16.156.1:9092 --topic test
This is a message
This is another message
Step 5: 启动一个 consumer

查看

bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test

 

增加

bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic test --partitions 3