参考:https://www.cnblogs.com/panwenbin-logs/p/10369402.html
https://blog.csdn.net/milhua/article/details/78931672
=================jdk安装====================
1、安装jdk
1-1、查看yum -y list java*
1-2、安装jdk(找到jdk版本,执行yum install -y 命令)
yum install -y java-1.8.0-openjdk-devel.i686
1-3、看看jdk是否安装成功
java -version
2、jdk安装遇到的问题---yum命令出现Loaded plugins: fastestmirror和vi无法写入保存
2-1、yum命令出现Loaded plugins: fastestmirror
原因:fastestmirror无法使用,默认开启
解决:修改参数fastestmirror.conf文件里的enabled为0,表示禁用。
输入 vi /etc/yum/pluginconf.d/fastestmirror.conf ,修改enabled为0,保存退出(:wq)
2-2、使用vi命令时,无法保存退出。
原因:改用户下没有对fastestmirror.conf文件的写权限。
解决:可以先查看fastestmirror.conf的权限,退回到fastestmirror.conf目录,输入ls -l命令, 结果是--rw - r - r,则表示非root用户只有读权限,而root用户有读写权限。将当前用户切换到Root权限即可,执行命令: su root
3、yum install是不用配置环境变量,已经配好了。
可以使用echo $PATH 和 echo $CLASSPATH 和 echo $JAVA_HOME来查看相对的环境变量(百度很多例子是要配置,看看就好了)。
===============zookeeper集群搭建=================
1、下载并解压到指定目录
#下载
wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
#在当前目录解压到/usr/local文件下
tar xf zookeeper-3.4.10.tar.gz -C /usr/local
#如果不知道zookeeper-3.4.10.tar.gz在哪里,可以用命令去查
find -name zookee*
2、zookeeper-3.4.10软连接关联zookeeper
# 提供一个zookeeper-3.4.10软连接关联zookeeper
# zookeeper-3.4.10和zookeeper 是一样的 ,改变其中一个就会影响到另外一个
cd /usr/local
ln -sv zookeeper-3.4.10 zookeeper
3、 zoo_sample.cfg拷贝到zoo.cfg
cd /usr/local/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
4、修改zoo.cfg配置
vim zoo.cfg
#自定义zookeeper日志文件 目录是/Data/zookeeper
dataDir=/Data/zookeeper
#server.myid = ip:(leader默认端口2888):(follower默认端口3888)
#zookeeper领导者选举规则,先比较myid,大的就是leader,myid一直比较sid,大的就是leader
server.1 = 192.168.23.131:2888:3888
server.2 = 192.168.23.132:2888:3888
server.3 = 192.168.23.133:2888:3888
5、创建zookeeper日志文件和指定myid
#创建存储zookeeper日志文件
mkdir -pv /Data/zookeeper
#指定myid,多台机器就指定不同的id 本次zookeeper的集群有三台机器,就1,2,3就好了
echo "1" > /Data/zookeeper/myid
6、zk服务状态
cd /usr/local/zookeeper/bin
./zkServer.sh start
6-1、开启zk服务
6-2、检测zk状态
./zkServer.sh status
6-3、关闭zk
./zkServer.sh stop
6-4、查看zookeeper是leader还是follower有两种方法
6-4-1、./zkServer.sh status
6-4-2、 netstat -nlpt | grep -E "2181|2888|3888" , 3888监听就是follwer , 2888监听就是leader
6-5、查看日志
cd /usr/local/zookeeper/bin
tailf zookeeper.out
7、遇到的问题,关闭防火墙 (linux系统不一样,关闭方法不一样)
7-1、防火墙篇幅
service iptables status
service iptables start
service iptables stop
设置防火墙自启动为关闭
chkconfig iptables off(设置自动启动为关闭)
7-2、telnet检测tcp连接是否异常
yum install telnet nc -y
telnet ip ports
7-3、zookeeper只启动一、二台都会是启动失败的,最少要三台才会启动成功。
===============kafka集群搭建=================
1、下载kafka
#下载
wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz
#解压到/usr/local目录下
tar xf kafka_2.10-0.10.2.1.tgz -C /usr/local
2、创建软连接
# 提供一个kafka_2.10-0.10.2.1.tgz软连接关联kafka
# kafka_2.10-0.10.2.1.tgz和kafka是一样的 ,改变其中一个就会影响到另外一个
cd /usr/local
ln -sv kafka_2.10-0.10.2.1.tgz kafka
3、修改kafka配置
cd /usr/local/kafka/config
vim server.properties
server.properties文件详解
修改配置
log.dirs=/Data/kafka-logs
num.partitions=3
broker.id=1 #每一台机器都不一样,第二台机器就是2,第三台是3
listeners= PLAINTEXT://192.168.23.132:9092
zookeeper.connect=192.168.23.131:2181,192.168.23.132:2181,192.168.23.133:2181
4、创建kafka日志文件
mkdir -pv /Data/kafka-logs
5、kafka启动与关闭
#启动
cd /usr/local/kafka/bin
./kafka-server-start.sh -daemon ../config/server.properties
#关闭
cd /usr/local/kafka/bin
./kafka-server-stop.sh
注意:关闭是先必须先关了kafka,再关zookeeper, 如果先关zookeeper的话,就无法关闭kafka。
如果先关了zookeeper的话,就只有强制杀死kafka进程了。
jps
kill -9 5174 (kill -9 进程pid)
6、查看kafka的节点情况,比如查看brokers 、topics、partition
这一点是在zookeeper上查看的
cd /usr/local/zookeeper/bin
./zkCli.sh