zookeeper 集群规划
hadoop01 | hadoop02 | hadoop03 |
zk | zk | zk |
准备安装装包 zookeeper-3.5.7.tar.gz
解压Zookeeper安装包到/opt/bdp/目录下
tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/bdp/
修改/opt/bdp/apache-zookeeper-3.5.7-bin名称为zookeeper-3.5.7
mv apache-zookeeper-3.5.7-bin/ zookeeper-3.5.7
同步/opt/bdp/zookeeper-3.5.7目录内容到hadoop02、hadoop03 使用分发脚本
xsync zookeeper-3.5.7/
配置服务器编号
在/opt/bdp/zookeeper-3.5.7/这个目录下创建zkData
vi myid
在文件中添加与server对应的编号:
1
拷贝配置好的zookeeper到其他机器上
xsync myid
并分别在hadoop02、hadoop03上修改myid文件中内容为2,3
配置zoo.cfg文件
重命名/opt/bdp/zookeeper-3.5.7/conf这个目录下的zoo_sample.cfg为zoo.cfg
mv zoo_sample.cfg zoo.cfg
打开zoo.cfg文件
vim zoo.cfg
修改数据存储路径配置
dataDir=/opt/module/zookeeper-3.5.7/zkData
增加如下配置
#######################cluster##########################
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
同步zoo.cfg配置文件
xsync zoo.cfg
配置参数解读
server.A=B:C:D。
A是一个数字,表示这个是第几号服务器;
集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
B是这个服务器的地址;
C是这个服务器Follower与集群中的Leader服务器交换信息的端口;
D是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
zookeeper 群起脚本
#!/bin/bash
export JAVA_HOME=/opt/bdp/jdk1.8.0_212
case $1 in
"start"){
for i in hadoop01 hadoop02 hadoop03
do
echo -------------- zookeeper $i 启动 -----------------
ssh $i "/opt/bdp/zookeeper/zookeeper-3.5.7/bin/zkServer.sh start"
done
};;
"stop"){
for i in hadoop01 hadoop02 hadoop03
do
echo -------------- zookeeper $i 关闭 -----------------
ssh $i "/opt/bdp/zookeeper/zookeeper-3.5.7/bin/zkServer.sh stop"
done
};;
"status"){
for i in hadoop01 hadoop02 hadoop03
do
echo -------------- zookeeper $i 状态 -----------------
ssh $i "/opt/bdp/zookeeper/zookeeper-3.5.7/bin/zkServer.sh status"
done
};;
esac
用脚本启动需要在
/opt/bdp/zookeeper-3.5.7/bin/zkEnv.sh 文件的头部添加jdk位置
export JAVA_HOME=/opt/bdp/jdk1.8.0_212
kafka 集群规划
hadoop01 | hadoop02 | hadoop03 |
zk | zk | zk |
kafka | kafka | kafka |
安装包 kafka_2.11-2.4.1.tgz -c
解压到指定目录
tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/bdp/
在/opt/bdp/kafka目录下创建logs文件夹
修改或者增加以下内容:
vim config/server.properties
#broker的全局唯一编号,不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#kafka运行日志存放的路径
log.dirs=/opt/module/kafka/data
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181/kafka
配置环境变量
#KAFKA_HOME
export KAFKA_HOME=/opt/bdp/kafka
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile修改配置文件
分发安装包
xsync kafka/
分别在hadoop02和hadoop03上修改配置文件
/opt/bdp/kafka/config/server.properties中的broker.id=1、broker.id=2
broker.id 不能重复
kafka群起脚本
#!/bin/bash
case $1 in
"start"){
for i in hadoop01 hadoop02 hadoop03
do
echo " --------启动 $i Kafka-------"
ssh $i "source /etc/profile;nohup /opt/bdp/kafka/kafka/bin/kafka-server-start.sh -daemon /opt/bdp/kafka/kafka/config/server.properties >/dev/null 2>&1 & "
done
};;
"stop"){
for i in hadoop01 hadoop02 hadoop03
do
echo " --------停止 $i Kafka-------"
ssh $i "source /etc/profile; /opt/bdp/kafka/kafka/bin/kafka-server-stop.sh stop"
done
};;
esac
Flume 搭建
软件 apache-flume-1.9.0-bin.tar.gz
将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/bdp目录下
解压apache-flume-1.9.0-bin.tar.gz
tar -zxvf apache-flume-1.9.0-bin.tar.gz
修改apache-flume-1.9.0-bin的名称为flume
mv apache-flume-1.9.0-bin flume
将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3
cd flume/lib
rm -rf guava-11.0.2.jar
注意:删除guava-11.0.2.jar的服务器节点,一定要配置hadoop环境变量。否则会报如下异常。
Caused by: java.lang.ClassNotFoundException: com.google.common.collect.Lists
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 1 more
将flume/conf下的flume-env.sh.template文件修改为flume-env.sh,并配置flume-env.sh文件
mv flume-env.sh.template flume-env.sh
vi flume-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_212
mysql 搭建
1、Adding the MySQL Yum Repository;
rpm -Uvh mysql80-community-release-el7-3.noarch.rpm
2、Selecting a Release Series
修配置文件
vi /etc/yum.repos.d/mysql-community.repo
57 enabled改成1
80 enabled改成0
3、Installing MySQL
yum -y install mysql-community-server
4、Starting the MySQL Server
systemctl start mysqld.service
systemctl status mysqld.service
5、利用临时密码登录并修改密码
//查看临时密码
grep 'temporary password' /var/log/mysqld.log
如果查询不到零时密码
解决办法:删除/var/lib/mysql 目录
rm -rf /var/lib/mysql
grep 'temporary password' /var/log/mysqld.log
这样就得到了mysql临时密码
//利用临时密码登录
set global validate_password.length=4;
mysql -uroot -p
//修改临时密码
ALTER USER 'root'@'localhost' IDENTIFIED BY 'My12345!';
这里如果不想设计比较麻烦的密码可以更改mysql密码策略
set global validate_password.length=4;
set global validate_password.policy=0;
6、开启远程连接
update user set host="%" where user="root";
grant all privileges on *.* to root@'%' with grant option;
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
flush privileges;