1. 第一步:下载 Zookeeper
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
2.第二步:创建三个文件夹,代表三个服务器
mkdir server1
mkdir server2
mkdir server3
备注:真集群步骤也一样,一般来说区别在于伪集群ip相同端口不同,真集群ip不通端口相同
**
3.第三步:在三个server里面分别创建两个文件夹
**
mkdir data
mkdir datalog
[如图]
**
4. 第四步:分别在三个server目录里面的data目录下创建一个myid文件
**
mkdir myid
分别在三个myid输入以下内容1,2,3
备注:第一个输入1,第二个文件输入2,第三个文件输入3
**
5. 第五步:再分别进入到每个server里面的Zookeeper的conf目录下,复制一份zoo_sample.cfg文件,命名为zoo.cfg,并且添加如下配置:
**
// dataDir,dataLogDi这两个路径配置的是第三步创建这两文件的路径
dataDir=/opt/zookeeper/server1/data
dataLogDir=/opt/zookeeper/server1/datalog
clientPort=2181
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889
[如图]
备注:其中clientPort=2181分别为2182,2183,其他不变
**
6. 第六步:分别进入到三个server里面的Zookeeper的bin目录下启动Zookeeper
**
cd /opt/zookeeper/server3/zookeeper-3.4.10/bin
./zkServer.sh start
[如图]
**
7. 第七步:使用jps确认有没有启动成功
**
[如图]
**
8. 第八步:开始搭建kafka集群
**
在opt目录下创建kafka文件夹(我安装到了opt目录下了,各位按需安装),下载安装包
wget https://archive.apache.org/dist/kafka/1.0.0/kafka_2.11-1.0.0.tgz
**
9. 第九步:解压安装包
**
tar -zxvf zookeeper-3.4.10.tar.gz
如果提示无效的命令的话,可以yum install 一下这个tar命令
**
10. 第十步:配置kafka,进入到kafkaconfig目录下修改配置文件server.properties,1,2,3三个配置文件,以下四个属性
**
#节点id,对应上面zookeeper三个myid文件的值,server1.properties写1,2写2,3写3
broker.id=1
#监听端口,把下面的 ip 换成你服务器的私有地址(如果填127.0.0.1或localhost可能无法从外面访问kafka服务)
#比如:listeners=PLAINTEXT://172.24.195.94:9094
listeners=PLAINTEXT://ip:9092
#日志文件存放目录,像
log.dirs=/opt/kafka/kafkalogs1
#zk集群ip:端口
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
**
11. 第十一步:配置完成,启动三个服务server1.properties
**
cd /opt/kafka/kafka_2.11-1.0.0
./bin/kafka-server-start.sh -daemon config/server1.properties
./bin/kafka-server-start.sh -daemon config/server2.properties
./bin/kafka-server-start.sh -daemon config/server3.properties
**
12. 第十二步:jps查看是否启动成功
**
[如图]
备注:如果提示没有jps命令或者是无效的命令的话,可以直接跳到Linux gradle安装步骤,安装成功之后再来执行此步骤,即可。
**
13. 第十三步:测试,进入到kafka目录下,创建一个topic
**
./bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --create --topic test-topic --partitions 3 --replication-factor 3
**
14. 第十四步:启动生产者,随便输入几个数据
**
./bin/kafka-console-producer.sh --broker-list 私有地址:9092 --topic test-topic
**
15. 第十五步:启动消费者,看是否有消息收到
**
./bin/kafka-console-consumer.sh --bootstrap-server 私有地址:9092 --topic test-topic
**
16. 第十六步:查看启动日志
**
tail -111f /opt/kafka/kafka_2.11-1.0.0/logs/kafkaServer.out
**
17. 第十七步:内存不足,命令设置kafka启动参数
**
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
**
18. 第十八步:清理内存缓存
**
sync
echo 3 > /proc/sys/vm/drop_caches
**
19. 第十九步:查看topic列表
**
./bin/kafka-topics.sh --zookeeper localhost:2181 --list
**
20. 第二十步:查看某个topic详情
**
./bin/kafka-topics.sh --zookeeper localhost:2181 -describe --topic test-topic
**
Linux gradle安装步骤:
**
**
1. 第一步:下载
**
wget https://downloads.gradle.org/distributions/gradle-3.2.1-all.zip
**
2. 第二步:解压
**
unzip gradle-3.2.1-all.zip
备注:这里的包是个zip的文件,如果使用unzip不能解压的话,可以百度一下yum install 命令安装一下zip文件的解压缩命令;
**
3. 第三步:配置环境变量
**
vi /etc/profile
添加如下代码:
# 路径根据解压安装位置为准
GRADLE_HOME=/usr/software/gradle-3.2.1
export PATH=${GRADLE_HOME}/bin:${PATH}
**
4. 第四步:刷新配置文件profile
**
source /etc/profile
**
5. 第五步:检验是否成功
**
// 使用命令验证即可
gradle -v
[如图]
到此,就整个流程结束,各位看官,如某步骤有问题,请指出,会立即更正;
如要转载,请标记出处!