快速使用腾讯云服务器安装单机版kafka，全过程跑通

1.环境介绍

组件	版本
linux	CentOS 7.5
java	1.8
scala	2.11
zookeeper	zookeeper-3.4.13
kafka	kafka_2.11-2.2.2

2.安装JDK

2.1 下载JDK

使用wget命令下载，如果没有wget可以先使用yum install wget 或 apt install wget 下载

yum install wget 
或 
apt install wget

下载好了wget后执行下方代码

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie"  http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

下载完成后使用tar -vxf jdk-8u131-linux-x64.tar.gz 命令解压，解压完成后的jdk可以直接使用，可以使用mv命令改变路径，也可以直接配置环境变量

tar -vxf jdk-8u131-linux-x64.tar.gz 

2.2 配置环境变量

• 首先记下jdk的目录，本文为 /usr/java/jdk1.8.0_131
• 使用vi命令修改环境变量 vi /etc/profile

vi /etc/profile 

• 在文件最后添加

export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin

• 然后保存
• 使用source /etc/profile 使刚刚配置的环境变量立即生效

source /etc/profile

• 敲下 java -version 检验是否安装成功
  

3.安装zookeeper-3.4.13

3.1 下载地址

http://archive.apache.org/dist/zookeeper/

3.2 解压安装

• 使用命令tar -xzvf zookeeper-3.4.14.tar.gz解压下载好的解压包

tar -xzvf zookeeper-3.4.14.tar.gz

• 使用mkdir命令在根目录zookeeper下创建data文件夹存放快照

mkdir data

• 进入conf目录将zoo_sample.cfg copy一份zoo.cfg
  

• 使用vi zoo.cfg修改zoo.cfg文件,将路径改成刚刚创建data的路劲dataDir=/zookeeper/zookeeper-3.4.14/data

• 进入的zookeeper的bin目录下 cd bin/

1、启动命令 ./zkServer.sh start
2、关闭命令 ./zkServer.sh stop
3、查看状态 ./zkServer.sh status

• linux服务上的防火墙状态

备注：防火墙一定要关闭不然会一直出现Will not attempt to authenticate using SASL (unknown error)这个异常

1、查看防火墙状态命令：systemctl status firewalld

systemctl status firewalld

关闭防火墙命令： systemctl stop firewalld
永久关闭防火墙命令：
systemctl disable firewalld
+
chkconfig iptables off

4.安装scala

• 下载地址

https://www.scala-lang.org/download/2.11.11.html

• 解压

tar -xzvf scala-2.12.12.tgz    

• 配置环境变量，，添加以下代码

vim /etc/profile

#scala
export SCALA_HOME=/opt/soft/scala211
export PATH=$PATH:$SCALA_HOME/bin

• 生效

source /etc/profile

• 校验scala安装是否成功

scala

6.安装kafka

6.1 下载地址

https://kafka.apache.org/downloads
安装版本kafka_2.11-2.2.2

6.2 安装

解压

 tar -xzvf kafka_2.12-2.4.0.tgz 

• 修改kafka的配置文件
  进入kafka根目录下的config文件夹下，打开server.properties,修改如下配置项

vim server.properties

broker.id=0   #每个节点不能一样
listeners=PLAINTEXT://0.0.0.0:9092  #开放访问
advertised.listeners=PLAINTEXT://192.168.1.11:9092   # 访问这个主节点需要使用的地址 修改成自己的地址
log.dirs=/opt/kafka_2.11-2.2.2/config/logdata
  #日志文件目录，请提前创建
zookeeper.connect=192.168.1.11:2181  #修改成自己的zookeeper集群地址，单机版可以使用localhost

• 启动kafka

/opt/kafka_2.11-2.2.2/bin/kafka-server-start.sh -daemon /opt/kafka_2.11-2.2.2/config/server.properties

此命令告诉kaka启动时使用config/server.properties配置项 -daemon 后台进程启动

• 通过如下命令查看kafka进程是否启动

jps

-logs目录下，查看server.log日志

cat server.log

• 创建topic

./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test1

• 启动生产者

./kafka-console-producer.sh --broker-list localhost:9092 --topic test1

• 启动消费者

./kafka-console-consumer.sh --bootstrap-server  localhost:9092  --from-beginning --topic test1

• 完成
  生产消费都可以，安装完成。

生产发出hello

消费者到接受hello