(7) Flink connector( zookeeper, kafka)

kafka connector部署

zookeeper部署

1. 下载链接

https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz

2. 安装包的目录和解压的目录是 /usr/local

3. 配置系统环境变量 vim ~/.bash_profile

关于系统环境变量的文件在哪改，可以参考 /etc/profile和~/.bash_profile的区别与联系

4. 配置zookeeper 文件。$ZK_HOME/conf/zoo.cfg 。conf目录下zoo_sample.cfg 重命名为zoo.cfg，并且更改dataDir项，dataDir不要放在默认的/tmp下（关机就没了）

5. 启动ZooKeeper $ZK_HOME/bin/zkServer.sh start

• 经过第六步骤的检验，我的zookeeper并没有启动成功，此时，可以通过$ZK_HOME/bin/zkServer.sh start-foreground判断出错情况
  

• 上面的异常表示8080端口已经被使用，可以有两种解决办法：

  • 解决端口占用

  • 更换管理端口

    admin.serverPort=18080

详细参考https://blog.csdn.net/J080624/article/details/102080621

6. 检查是否启动成功。通过jps命令，如果出现QuorumPeerMain进程，则说明启动成功

kafka部署

1. 下载链接

https://mirrors.bfsu.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz

2. 安装包的目录和解压的目录是 /usr/local

3. 配置系统环境变量 vim ~/.bash_profile

4. 配置文件 $KAFKA_HOME/config/server.properties

log.dirs不要放在默认的/tmp下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-x2EiA5XH-1601865285911)(C:\Users\BluthLeee\AppData\Roaming\Typora\typora-user-images\image-20200926170000776.png)]

根据连接的zookeeper实际情况判断是否改localhost

5. 启动Kafka

./kafka-server-start.sh -daemon /usr/local/kafka_2.13-2.6.0/config/server.properties

6. 检查是否启动成功。通过jps命令，如果出现Kafka进程，则说明启动成功

7. 创建topic

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic lstest

8. 查看所有的topic

./kafka-topics.sh --list --zookeeper localhost:2181

9. 启动生产者

./kafka-console-producer.sh --broker-list localhost:9092 --topic lstest

10. 启动消费者

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic lstest

在生产者输入，消费者可以看到输出，详细参考https://kafka.apachecn.org/quickstart.html