1、Scala安装
1.1、下载、解压
1.2、配置环境变量(/etc/profile或者~/.bashrc),环境变量生效
1.3、验证是否安装成功
scala -version
1.4、其他服务器安装
- 通过scp拷贝scala减压目录
- 通过scp拷贝~/.bashrc文件
- 登录服务器,生效环境变脸配置
2、Kafka安装
### 2.1、下载、解压
2.2、配置Kafka
vim $KAFKA_HOME/config/server.properties
##修改如下信息
broker.id=0
zookeeper.connect=192.168.31.137:2181,192.168.31.138:2181,192.168.31.139:2181
其中broker.id中值最好与上一篇Zookeeper安装中myid一致。
zookeeper.connect用于配置zookeeper服务地址,因为kafka底层是依赖zookeeper的。
2.3、上传slf4j-nop-1.76.jar
- 下载slf4j-1.7.6.zip并减压
- 找到slf4j-nop-1.7.6.jar复制到$KAFKA_HOME/libs下
该步骤不明白是什么意思,可能是为了kafka日志输出吧
2.4、使用SCP将kafka拷贝到其他两台机器
2.5、修改其他机器的server.properties中broker.id,分别设置为1和2.
2.6、启动服务
分别在三台服务器执行
nohup $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties &
2.7、检验是否成功
分别在三台服务器上执行jps命令,查看是否有kafka进程
2.8、测试kafka
开启两个命令窗口,分别执行
## 在第一个窗口创建消息队列
$KAFKA_HOME/bin/kafka-topics.sh --zookeeper 192.168.31.137:2181,192.168.31.138:2181,192.168.31.139:2181 --topic TestTopic --replication-factor 1 --partitions 1 --create
## 在相同窗口创建生产者客户端
$KAFKA_HOME/bin/kafka-console-producer.sh --broker-list 192.168.31.137:9092,192.168.31.138:9092,192.168.31.139:9092 --topic TestTopic
## 在第二个窗口创建生产者消费者客户端
$KAFKA_HOME/bin/kafka-console-consumer.sh --zookeeper 192.168.31.137:2181,192.168.31.138:2181,192.168.31.139:2181 --topic Tespic --from-beginning
此时在生产者客户端输入信息,点击回车,消费者客户端同时产生响应。
(由于有道云笔记的markdown无法直接粘贴截图,不能截图展示效果)
3、可能遇到异常处理
- ERROR Producer connection to 192.168.31.138:9092 unsuccessful (kafka.producer.SyncProducer
该问题最终查到原因是另外两台服务器中的broker.id没有做响应修改导致。
- kafka Unrecognized VM option ‘UseCompressedOops’问题
这个问题是视频中部署遇到问题,由jdk版本不兼容导致,具体修改方法:
vim $KAFKA_HOME/bin/kafka-run-class.sh
## 1、找到对应位置
if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
fi
## 2、去掉-XX:+UseCompressedOops即可
注释:本文中所有$KAFKA_HOME表示本人自己在各个服务器的KAFKA安装路径
该系列笔记:
1. 电商用户行为分析大数据平台相关系列1-环境介绍
2. 电商用户行为分析大数据平台相关系列2-HADOOP环境搭建
3. 电商用户行为分析大数据平台相关系列3-HIVE安装
4. 电商用户行为分析大数据平台相关系列4-ZOOKEEPER安装
5. 电商用户行为分析大数据平台相关系列5-KAFKA安装
6. 电商用户行为分析大数据平台相关系列6-flume安装
7. 电商用户行为分析大数据平台相关系列7-spark安装