SpringBoot集成kfaka

[参考链接]

详情链接

Kafka核心概念：
下面介绍Kafka相关概念,以便运行下面实例的同时，更好地理解Kafka.

1. Broker
   Kafka集群包含一个或多个服务器，这种服务器被称为broker
2. Topic
   每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
3. Partition
   Partition是物理上的概念，每个Topic包含一个或多个Partition.
4. Producer
   负责发布消息到Kafka broker
5. Consumer
   消息消费者，向Kafka broker读取消息的客户端。
6. Consumer Group
   每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）

安装：

1、首先安装java环境和scala环境；

具体请查看 博客

2、下载kafka

http://kafka.apache.org/downloads

wget http://mirrors.hust.edu.cn/apache/kafka/1.0.0/kafka_2.12-1.0.0.tgz
3、解压

sudo tar -zxf kafka_2.11-0.11.0.1.tgz -C /usr/local/kafka
（我的Scala是2.11）

对于单节点kafka，我们配置很简单，只需在…/kafka_2.11-2.3.0/config 目录下修改/kafka_2.11-2.3.0/config/server.properties这个配置文件的内容，只需取消#listeners=PLAINTEXT://:9092的注释，或者重新加一行listeners=PLAINTEXT:[本设备的ip]//:9092，最中修改的结果为listeners=PLAINTEXT:[本设备的ip]//:9092

4.1 、 启动zookeeper

cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties
4.2、 启动Kafka服务端

bin/kafka-server-start.sh config/server.properties
5、以上都不要关闭，创建topic

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic soyo
这个topic叫soyo，2181是zookeeper默认的端口号，partition是topic里面的分区数，replication-factor是备份的数量，在kafka集群中使用，这里单机版就不用备份了
6、查看创建的主题

bin/kafka-topics.sh --list --zookeeper localhost:2181
7、producer生产数据

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic soyo
shell：输入数据
8、consumer来接收数据

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic soyo --from-beginning
shell：可以看到刚才的数据

（一）：kafka启动、kafka查看、创建topic的命令：
这里目前只是记录了我使用过的操作，所以并不完整。

一、kafka启动（linux环境）

1、单节点启动（非集群）

（1）下载kafka安装包链接，我这里下载的是kafka_2.11-2.3.0.tgz
linux可以直接执行：

 wget https://archive.apache.org/dist/kafka/2.3.0/kafka_2.11-2.3.0.tgz

（2）解压（不需要安装，直接配置可用） tar -xzvf kafka_2.11-2.3.0.tgz

（3）对于单节点kafka，我们配置很简单，只需在…/kafka_2.11-2.3.0/config 目录下修改/kafka_2.11-2.3.0/config/server.properties这个配置文件的内容，只需取消#listeners=PLAINTEXT://:9092的注释，或者重新加一行listeners=PLAINTEXT:[本设备的ip]//:9092，最中修改的结果为listeners=PLAINTEXT:[本设备的ip]//:9092

（4）启动zookeeper：…/kafka_2.11-2.3.0/bin/zookeeper-server-start.sh -daemon …/kafka_2.11-2.3.0/config/zookeeper.properties

（5）启动kafka：…/kafka_2.11-2.3.0/bin/kafka-server-start.sh -daemon …/kafka_2.11-2.3.0/config/server.properties

（6）启动完成

（二）
2、集群启动

后面在补充吧~~，下面记录使用过的命令

二、常用命令

1、创建topic：bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181

–topic 指定topic名字

–replication-factor 指定副本数，因为我的是集群环境，这里副本数就为3

–partitions 指定分区数，这个参数需要根据broker数和数据量决定，正常情况下，每个broker上两个partition最好

方法二：
开启自动创建配置：auto.create.topics.enable=true
使用程序直接往kafka中相应的topic发送数据，如果topic不存在就会按默认配置进行创建。

2、查看有哪些topic：bin/kafka-topics.sh --list --zookeeper localhost:2181

3、查看具体的topic详细信息：bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic lx_test_topic --describe

[root@sdn kafka]# bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic xxx-kafka-topic  --describe
Topic:xxx-kafka-topic     PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: xxx-kafka-topic    Partition: 0    Leader: 0       Replicas: 0     Isr: 0