大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

• Hadoop（已更完）
• HDFS（已更完）
• MapReduce（已更完）
• Hive（已更完）
• Flume（已更完）
• Sqoop（已更完）
• Zookeeper（已更完）
• HBase（已更完）
• Redis （已更完）
• Kafka （正在更新…）

章节内容

上节我们完成的内容：

• Kafka核心概念介绍
• Producer
• Consumer
• Topic
• Partition
• 等等

简单介绍

Kafka在3版本以下都是需要ZooKeeper来做协调器的，在3版本以上，Kafka实现了自己的协议去做高可用，但是大家也没有都切换到这个新的方案上，还是比较保守的（如果在生产环境上 ）。

ZooKeeper

环境变量

登录后复制

# 我们要确保有ZooKeeper环境，之前已经安装过了。最好确认一下你的ZooKeeper环境是正确的。
vim /etc/profile

• 1.
• 2.

检查你的环境变量是否配置完毕，我这里是 3台云服务器都配置好了。

登录后复制

# zookeeper
export ZOOKEEPER_HOME=/opt/servers/apache-zookeeper-3.8.4-bin
export PATH=$PATH:$ZOOKEEPER_HOME/bin

• 1.
• 2.
• 3.

配置的结果大致如下：

记得刷新环境变量

登录后复制

source /etc/profile

• 1.

验证环境

如果你已经启动了ZooKeeper，那么进行下面的服务测试：

登录后复制

zkServer.sh status

• 1.

如果你出现下图的样子，你的ZK是没有问题的。

可以从下图中看到，我这台是 Follower 节点。主节点好像是 h122 节点。

Kafka

下载项目

我这里选择的是 2.7 的版本，你可以到 GitHub 或者 官方下载

登录后复制

https://github.com/apache/kafka/releases/tag/2.7.2
https://kafka.apache.org/downloads

• 1.
• 2.

GitHub是源码，需要自己编译！！！

官方下载地址是编译的：

解压配置

下载好之后，上传到服务器上，或者直接在服务器上 wget 进行下载。

登录后复制

tar -zxvf kafka_2.12-2.7.2.tgz

• 1.

按照之前的规范，我们需要进行移动处理：

登录后复制

mv kafka_2.12-2.7.2 ../servers

• 1.

环境变量

登录后复制

vim /etc/profile

• 1.

写入如下的环境变量内容

登录后复制

# kafka
export KAFKA_HOME=/opt/servers/kafka_2.12-2.7.2
export PATH=$PATH:$KAFKA_HOME/bin

• 1.
• 2.
• 3.

记得刷新环境变量

启动配置

Kafka是需要连接ZooKeeper的，所以我们需要修改Kafka的配置。

登录后复制

vim /opt/servers/kafka_2.12-2.7.2/config/server.properties

• 1.

ZK配置

修改 zookeeper.connet 这一行：

log配置

这里注意修改一下，同时记得把文件夹创建出来

启动服务

登录后复制

kafka-server-start.sh /opt/servers/kafka_2.12-2.7.2/config/server.properties

• 1.

原创作者: u_16814091 转载于: https://blog.51cto.com/u_16814091/11739549