一、前置准备
1、三台服务器hosts文件修改
vim /etc/hosts
更改为:
192.168.117.100 nogc112 nogc112
192.168.117.101 nogc113 nogc113
192.168.117.102 nogc114 nogc114
2.ssh免密登录
1、三台服务器执行
ssh-keygen
然后一直回车。
2、三台服务器执行
ssh-copy-id nogc112
点yes
输入密码。
3、三台服务器执行
ssh-copy-id nogc113
点yes
输入密码。
4、三台服务器执行
ssh-copy-id nogc114
点yes
输入密码。
可在nogc1125输入 ssh nogc113看是否设置成功,通过exit 退出
3.设置xsync脚本工具
1、在/root目录下创建bin目录,并在bin目录下创建文件xsync,文件内容如下:
[root@nogc112 ~]# mkdir bin
[root@nogc112 ~]# cd bin/
[root@nogc112 bin]# vim xsync
在该文件中编写如下代码:
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=113; host<115; host++)); do
echo ------------------- nogc$host --------------
rsync -av $pdir/$fname $user@nogc$host:$pdir
done
注意:倒数第二、三行改为自己主机名
2、修改脚本 xsync 具有执行权限
[root@nogc112 bin]# chmod +x xsync
4.设置xcall脚本工具
1、在/root/bin目录下创建脚本xcall.sh
vim xcall.sh
2、在脚本中编写如下内容
#! /bin/bash
for i in nogc112 nogc113 nogc114
do
echo --------- $i ----------
ssh $i "$*"
done
3、修改脚本执行权限
[root@nogc112 bin]# chmod +x xcall.sh
5.阿里云时间同步、防火墙、SELINUX_FTPD都不用设置
二、安装三台JDK
1、在nogc112上创建/usr/java和 /opt/software
[root@nogc112 usr]# mkdir /usr/java
[root@nogc112 opt]# mkdir /opt/software
2、用上传工具,如Xftp等 把jdk-8u212-linux-x64.tar.gz上传到/opt/software下
3、解压到/usr/java目录下
[root@nogc112 software]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /usr/java/
4、配置JAVA_HOME环境变量
(1)创建并打开文件java.sh
[root@nogc112 software]# vim /etc/profile.d/java.sh
添加如下:
#! /bin/bash
export JAVA_HOME=/usr/java/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
5、分发java文件和配置文件
[root@nogc112 software]# xsync /usr/java/
[root@nogc112 software]# xsync /etc/profile.d/java.sh
6、使修改后的文件生效,三台服务器执行
source /etc/profile.d/java.sh
7、三台服务查看java是否安装成功
java -version
三、安装MySQL驱动
1、三台卸载自带mysql
rpm -qa | grep mariadb | xargs rpm -e --nodeps
2.下载mysql5.7源
[root@nogc112 software]# cd /opt/software/
wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm
3.安装源
[root@nogc112 software]# rpm -ivh mysql57-community-release-el7-9.noarch.rpm
4.安装mysql
[root@nogc112 ~]# yum -y install mysql-server
yum安装会自动解决依赖的问题
5.启动mysql 服务
systemctl start mysqld
6.查看用户密码
grep 'temporary password' /var/log/mysqld.log
最后显示 root@localhost: ro0*i6CAs,3中 ro0i6CAs,*3 为密码
7.执行初始化
mysql_secure_installation
Enter password for user root:
输入ro0*i6CAs,*3 然后空格确定
在New psssword: 中输入自己设置的新密码 (12位以上 有大小写 数据 特殊符号)
Change the password for root ? ((Press y|Y for Yes, any other key for No) :y
New password: 再输入新密码
Do you wish to continue with the password provided?(Press y|Y for Yes, any other key for No) : y
Remove anonymous users? (Press y|Y for Yes, any other key for No) :y
Disallow root login remotely? (Press y|Y for Yes, any other key for No) :n
Remove test database and access to it? (Press y|Y for Yes, any other key for No) :y
Reload privilege tables now? (Press y|Y for Yes, any other key for No) :y
8.进入mysql
[root@nogc112 ~]# mysql -uroot -p****
9.配置远程访问权限
mysql> grant all privileges on *.* to 'root' @'%' identified by '******';
“*****”为你的密码
mysql> flush privileges;
10.退出mysql
mysql> quit;
11.安装mysql驱动
(1)将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java下,并重命名
先建立 /usr/share/java
[root@nogc112 software]# mkdir /usr/share/java
再拷贝
[root@nogc112 software]# cp mysql-connector-java-5.1.27-bin.jar /usr/share/java/
重命名
[root@nogc112 software]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar
(2)分发
[root@nogc112 java]# xsync /usr/share/java/
四、安装CM
在线安装
1、
[root@nogc112 ~]# cd /etc/yum.repos.d/
[root@nogc112 yum.repos.d]# wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/cloudera-manager.repo
2、分发
[root@nogc112 yum.repos.d]# xsync cloudera-manager.repo
3、
nogc112上
[root@nogc112 software]# yum -y install cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[root@nogc112 software]# yum -y install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
[root@nogc112 software]# yum -y install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
nogc113、nogc114上
yum -y install cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
yum -y install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
4、配置三台服务器
vim /etc/cloudera-scm-agent/config.ini
server_host=nogc112
5、在mysql创建各组件需要的数据库
mysql -uroot -p*****
复制如下进mysql
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> quit;
6、为CM配置数据库
[root@nogc112 opt]# /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root *****
7、启动CM
(1)启动服务节点:hadoop102
systemctl start cloudera-scm-server
(2)启动工作节点:hadoop102上启动
xcall.sh systemctl start cloudera-scm-agent
(3)查看server启动日志
[root@nogc112 cloudera-scm-server]# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
有如下:则启动成功:
2020-05-30 23:24:54,272 INFO WebServerImpl:org.eclipse.jetty.server.AbstractConnector: Started ServerConnector@fc8f9d4{HTTP/1.1,[http/1.1]}{0.0.0.0:7180}
2020-05-30 23:24:54,275 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.
注意:安全组开放7180端口
五、安装CDH
mkdir -p /var/www/html/cdh6_parcel
把CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1、CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel、manifest.json上传到/var/www/html/cdh6_parcel里
将CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1:需改名为
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
在www下
[root@nogc112 html]# python -m SimpleHTTPServer 8900
1、http://nogc112:7180/进入
账号密码都是admin
2、点继续
3、点是的 。继续
4、选到免费,然后点继续
5、点继续
6、群集名称自己定义,然后点继续
7、点当前管理的主机,选所有主机,然后点继续
8、有外网可以直接使用默认安装,或点选择方式里的更多选项
CDH刷新不出可:停机后
三台 /var/lib/cloudera-scm-agent下删除uuid
mysql>drop database scm;
然后重新建scm
点Inspect Network Performance和Inspect Hosts
三台机子执行,要不机子性能受影响
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
好了后,点继续
自定义选自己安装的服务
我这里选 HDFS、YARN和ZooKeeper 这三个常用的。其它之后可再选