CDH6.2.0集群部署视频已经发布:点我查看
可以看着视频配合文档进行部署！！！
配置CDH6.2.0时，建议内存32G起步，不然会出现集群启动没反应等问题。
若遇到出错等问题，建议看下面评论区 ，网友安装时出错的问题都在下面已经回复。
加我微信公众号：3分钟秒懂大数据，获取个人微信，拉你进cdh6.2.0部署群
1 集群准备
1 首先准备三台虚拟机，虚拟机ip地址可以ping通。
| ip | 名称 | 内存大小 |
| 192.168.63.131 | cdh1 | 16G |
| 192.168.63.132 | cdh2 | 4G |
| 192.168.63.133 | cdh3 | 4G |
2 修改IP和主机名
选择centos7来进行集群部署，克隆三台虚拟机 全部是在root 权限下执行
1 修改主机名
hostnamectl set-hostname cdh12 修改IP地址
3 reboot 重启虚拟机
4 重新登录root 用户
查看IP地址和主机名是否更改成功
5 ping www.baidu.com 能否ping成功
6 其他两台主机重复上面操作。
3 系统环境搭建
三台虚拟机上 进行网络配置， 免密登录、防火墙关闭、selinux关闭
1 修改Hosts 域名映射
vi /etc/hosts
2 免密登录
查看我之前弄得免密登录链接
https://blog.csdn.net/weixin_38201936/article/details/85123014
3 防火墙关闭
yum -y install net-tools
yum -y install vim
yum -y install lrzsz
yum -y install iptables-servicessystemctl stop firewalld
systemctl disable firewalld
4 SELINUX 关闭
5 JDK安装
没有关注的小伙伴可以在微信搜索框中搜索微信公众号： 3分钟秒懂大数据，点击关注，下文安装的所有软件包全部在公众号内。
在公众号回复 JDK ，即可获取到jdk安装包
（1）mkdir /usr/java
(2) 将下载的JDK压缩包放入该目录下
（3）在java目录下解压压缩包
tar -zxvf jdk‐8u202‐linux‐x64.tar.gz 
(4) vi /etc/profile 添加如下配置
export JAVA_HOME=/usr/java/jdk1.8.0_202
export PATH=$PATH:$JAVA_HOME/bin
（5）刷新 source /etc/profile
（6）查看是否成功 javac -version
6 安装NTP
yum install -y ntp
（1）修改ntp.conf 配置文件 vi /etc/ntp.conf
（2）先注释 四个server 然后添加server主机ip
（3）vi /etc/sysconfig/ntpd
（4） 启动ntp 服务
systemctl start ntpd.service
systemctl enable ntpd.service
service ntpd status
7 修改系统参数
sysctl vm.swappiness=10
echo 'vm.swappiness=10' >> /etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local
8 安装httpd
yum -y install httpd
service httpd start
service httpd status
直接用ip地址登录，验证一下
9 下载第三方依赖包
在root 权限下，选择三个窗口同时安装一下依赖包
yum -y install bind-utils
yum -y install chkconfig
yum -y install cyrus-sasl-gssapi
yum -y install cyrus-sasl-plain
yum -y install fuse
yum -y install fuse-libs
yum -y install gcc
yum -y install libxslt
yum -y install mod_ssl
yum -y install MySQL-python
yum -y install openssl
yum -y install openssl-devel
yum -y install perl
yum -y install portmap
yum -y install postgresql-server
yum -y install psmisc
yum -y install python-devel
yum -y install python-psycopg2
yum -y install python-setuptools
yum -y install sed
yum -y install sqlite
yum -y install swig
yum -y install zlib
9 Mysql 安装
数据库只在cdh3 上面进行安装，将下面6个rpm包上传到集群中 rpm包自己百度云提取
链接：https://pan.baidu.com/s/1oO_38Wj5Ut1xcy9_EW7dOA
提取码：2bnw
上传集群截图如下：
（1） 首先查看自己的集群中是否安装mysql数据库
rpm -qa | grep mysql // 这个命令就会查看该操作系统上是否已经安装了mysql数据库
（2）要是安装了 通过 yum -y remove mysql 进行卸载
（3）依次安装6个rpm包 安装命令如下：
rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force（4）启动mysql
systemctl start mysqld
(5) 设置开机自启动mysql
systemctl enable mysqld
(6) 安装成功后 首先将数据库设置成无密码状态，需要修改配置
vi /etc/my.cnf
添加 skip-grant-tables 可保证为无密码状态（题外话 如果想要左边有行号 输入 :set nu 就可以显示 ）
（7） 重启mysql服务器，保证生效 systemctl restart mysqld
（8）进入数据库 mysql -u root -p 按enter 键进入
（9） 选择数据库 use mysql;
(10) 修改密码为123456 修改命令
update user set authentication_string=password("123456") where user='root';
（11、12） 刷新：flush privileges; 退出 quit;
(13) 在此进入数据库 ，并建几个数据库
mysql -u root -p 密码123456
选择数据库 use mysql;
use mysql; 会报错， 说让你重新设置密码.执行下面这一步，设置密码：
set password = PASSWORD('123456');上面若设置密码成功，则直接执行这三步：
ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;
flush privileges;
quit;上面若设置密码不成功，报错如下：
mysql> set password = PASSWORD('123456');
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
执行下面这几步：
这个其实与validate_password_policy的值有关。
执行下面命令 修改 即可
mysql> set global validate_password_policy =0;
Query OK, 0 rows affected (0.04 sec)
mysql> set global validate_password_length = 6;
Query OK, 0 rows affected (0.00 sec)
然后重新 执行命令
mysql>SET PASSWORD = PASSWORD('your new password');
Query OK, 0 rows affected (0.00 sec)
2.ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER
3.flush privileges;
4.quit
(14 )重新登录 mysql -u root -p 123456
use mysql;
create database cmf default character set = 'utf8';
create database amon default character set = 'utf8';
create database hue default character set = 'utf8';
create database oozie default character set = 'utf8';
create database lyz default character set = 'utf8';(15) 对mysql 数据库赋权，任何服务器都可以连接它，执行下面几步操作：
select host from user where user = 'root';
update user set host='%' where user = 'root';
flush privileges;
quit;(16) 设置允许外网访问当前的mysql
https://www.cnblogs.com/wangjinyu/p/11679696.html
1.查看目前防火墙是否对外开发了3306端口，最上面之前关闭了防火墙，需要先打开防火墙
systemctl start firewalld
systemctl status firewalld
firewall-cmd --list-all2.查看3306端口是否开放
firewall-cmd --query-port=3306/tcpno 表示没有开放
3.开放3306端口
firewall-cmd --permanent --add-port=3306/tcp4.重启防火墙
service firewalld restart5再次.查看3306端口是否开放
firewall-cmd --query-port=3306/tcp6.查看目前防火墙
firewall-cmd --list-all10 mysql-connector-java-5.1.39 上传整理
在三个对话框中都执行
(1) mkdir /usr/share/java
(2) 将 mysql-connector-java-5.1.39.jar 上传到 /usr/share/java 目录下
jar包自取
链接：https://pan.baidu.com/s/1kbZ04-Ts6npSpCLCwiqrFA
提取码：c4hk
(3) mv mysql-connector-java-5.1.39.jar mysql-connector-java.jar
11 CM组件和节点安装
（1） 组件自提
在公众号回复 CM组件，即可下面三个截图的组件安装包。
(2) cdh2 cdh3 集群只上传 agent 和 daemons rpm包 cdh1 三个包全部上传
（3） 全部节点都安装daemons和agent
yum localinstall -y cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm
yum localinstall -y cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm
(4) cdh1 节点 安装server
yum localinstall -y cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm
12 下载 安装CDH6.2.0
（1）安装包自提
在公众号回复 CDH组件，即可获取下面截图的所有组件安装包。
（2）下载之后 在CDH1节点上传
全部上传之后，将不同的资源移动到对应的目录下
（3）mv CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel* /opt/cloudera/parcel-repo/
（4）mv PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel* /opt/cloudera/parcel-repo/
（5）mv manifest.json /opt/cloudera/parcel-repo/
（6）mv PHOENIX-1.0.jar /opt/cloudera/csd/
（7）进入到parcel-repo目录下 效验 黄色框的字符码是否相等，来判断文件上传时是否正确
（8）修改server配置文件
vi /etc/cloudera-scm-server/db.properties- 1 # 12行去掉注释把localhost改成cdh3
- 2 # 15行去掉注释
- 3 # 18行去掉注释，把cmf改成root
- 4 # 21行去掉注释，密码那里填写123456
- 5 # 28行 setupType = EXTERNAL
（9）修改agent配置文件
# 全部节点修改agent
vi /etc/cloudera-scm-agent/config.ini
# 15行把localhost修改为cdh1
13、启动CM，开始安装CDH集群
（1）关闭所有集群节点的防火墙
systemctl stop firewalld
systemctl disable firewalld（2）在cdh1 上启动server,和agent
systemctl start cloudera-scm-server
systemctl start cloudera-scm-agent（3）在其他节点上启动 agent
systemctl start cloudera-scm-agent（4）另开一个窗口，查看相关日志。有异常就解决异常
tail -200f /var/log/cloudera-scm-server/cloudera-scm-server.log（5） 查看7180端口是否生效，若生效，证明配置成功，可以登录web页面，若无任何信息显示，证明没生效，查看上面日志，看是否报错
netstat ‐tunlp | grep 7180（6）输入IP:7180登录页面，用户名密码 都是 admin
14、操作WEB 界面
起个名字 HK
选择自定义服务，先安装个zookeeper
到自定义角色分配 中，
Activity Monitor 我选择的是cdh1节点，zookeeper 我选择的是1-3 节点
数据库是在cdh3 上部署，然后主机名称为cdh3 数据库选择amon 用户名为root 密码 123456 然后点击测试连接
进入到这页之后，先查看自己集群节点的容量大小，输入 df -HT 我的cdh1的节点容量如下：
/dev/mapper/centos-root 系统盘的容量最大，占19个G 但使用15个G 所以 在选择上不选择系统盘
可以选择 /run盘 和 /boot 盘 作为存放的路径
点击继续
点击继续
接下来的操作查看这个链接 https://blog.csdn.net/weixin_38201936/article/details/106140498
7万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
