CDH6.3.1搭建
一.搭建规划
ClouderaServer | ClouderaAgent |
---|---|
hadoop01 | hadoop01 |
hadoop02 |
二.搭建准备
1.设置主机名
#查看主机名称
hostname
#永久修改主机名(重启生效)
hostnamectl set-hostname hadoop01
2.设置主机映射名(所有节点)
#编辑/etc/hosts文件
vim /etc/hosts
#加入主机映射名,保存退出
192.168.56.101 hadoop01
192.168.56.102 hadoop02
3.安装JDK1.8(所有节点)
#编辑/etc/profile,设置java环境变量
export JAVA_HOME=/opt/jdk8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#刷新配置文件
source /etc/profile
4.统一时间(所有节点)
#在所有节点上安装ntpdate服务
yum install ntpdate
#所有节点启动ntpdate服务并设置开机自启
systemctl start ntpdate
systemctl enable ntpdate
在所有节点上统一时间:
ntpdate time.windows.com
5.关闭防火墙(所有节点)
#所有节点关闭防火墙
systemctl stop firewalld
#所有节点关闭自启
systemctl disable firewalld
#查看防火墙状态
systemctl status firewalld
6.配置hadoop用户sudoer权限(所有节点)
所有节点添加hadoop用户并设置密码:
useradd hadoop
passwd hadoop
#所有修改权限配置文件
vi /etc/sudoers
#在“root ALL=(ALL) ALL”下面添加
hadoop ALL=(ALL) ALL
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0zoKPPYX-1610456506463)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110164342573.png)]
7.关闭Selinux(所有节点)
修改/etc/selinux/config 配置文件中的 SELINUX=disabled
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ObatVfim-1610456506465)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110174039977.png)]
8.配置免密登陆(所有节点)
以root用户为例生成公钥,连按回车即可:
ssh-keygen -t rsa
建立 hadoop01 到 hadoop02 的免密登录:
ssh-copy-id hadoop02
建立 hadoop01 到 hadoop01 的免密登录:
ssh-copy-id hadoop01
在hadoop01节点上为hadoop01、hadoop02配置免密登陆。
在hadoop02节点上为hadoop01、hadoop02配置免密登陆。
9.设置用户最大能打开文件数目、进程数和内存(所有节点)
查看最大打开文件数显示:
ulimit -a
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-V3OSAQSR-1610456506467)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110175306102.png)]
vim /etc/security/limits.conf
#在最后插入配置
* soft nofile 32728
* hard nofile 1029345
* soft nproc 65536
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-il95nEFr-1610456506469)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110180657962.png)]
10.禁用IPV6(在root用户下执行)
#所有主机上执行
echo " " >> /etc/modprobe.d/dist.conf
echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
11.解决透明大页面问题
#所有主机上查询;[always] never表示已启用,always [never]表示已禁用
cat /sys/kernel/mm/transparent_hugepage/defrag
输出结果:[always] madvise never
#所有主机上执行关闭透明大页
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#再次执行
cat /sys/kernel/mm/transparent_hugepage/defrag
输出结果:always madvise [never]
12.避免服务器使用swap功能而影响服务器性能
#所有主机上执行
#Linux内核参数vm.swappiness,值的范围为0~100,表示系统什么时候开始进行物理内存与虚拟内存的交换
cat /proc/sys/vm/swappiness
输出结果:30
#临时修改swappiness(重启后恢复)
echo 0 > /proc/sys/vm/swappiness
#永久修改swappiness
echo "vm.swappiness=0" >> /etc/sysctl.conf
13.创建/usr/share/java目录,将mysql-jdbc包放过去(所有节点)
#创建目录
mkdir -p /usr/share/java
将mysql驱动包发到该目录下,同时mysql-connector-java-5.1.34.jar 一定要命名为mysql-connector-java.jar。
三.搭建ClouderaManager
1.下载地址
#Cloudera Manager下载地址
https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/
#CDH 下载地址
https://archive.cloudera.com/cdh6/6.3.2/parcels/
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rhHCypsK-1610456506471)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110203128726.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fhbiyNp3-1610456506472)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110203339733.png)]
#创建 /opt/cloudera-manager 目录;存放 cdh的安装文件
mkdir /opt/cloudera-manager
2.安装 cloudera-manager-daemons(每个节点)
cd /opt/cloudera-manager/
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ECcAd2Gw-1610456506473)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110210002292.png)]
安装完之后,会在 /opt 下生成目录cloudera目录:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e00FFSBy-1610456506474)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110210139619.png)]
3.安装 cloudera-manager-agent(所有节点)
(1)安装cloudera-manager-agent
cd /opt/cloudera-manager/
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KJX5YGaD-1610456506475)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110211917023.png)]
执行报错,缺少依赖。用yum安装缺少的依赖:
yum install -y bind-utils
yum install -y psmisc
yum install -y libxslt
yum install -y cyrus-sasl-plain
yum install -y cyrus-sasl-gssapi
yum install -y fuse
yum install -y portmap
yum install -y fuse-libs
yum install -y httpd
yum install -y mod_ssl
yum install -y openssl-devel
如果依然报错则强制安装:
#--nodeps:安装时不检查依赖关系 --force:强制安装
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-T1AI4GVS-1610456506476)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110212735082.png)]
(2)检查生成cloudera-scm-agent目录
安装完成 cloudera-manager-agent 后会生成 /etc/cloudera-scm-agent 目录:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aRjJ2ETA-1610456506476)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110213504070.png)]
(3)配置agent的server节点
vim /etc/cloudera-scm-agent/config.ini
#server_host=localhost 改成server_host=cloudera-scm-server主机名
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gP4nqywg-1610456506477)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110214135680.png)]
#/opt/jdk8 是java的安装路径
sudo JAVA_HOME=/opt/jdk8 /opt/cloudera/cm-agent/bin/certmanager setup --configure-services
4.安装 cloudera-manager-server(hadoop01)
cd /opt/cloudera-manager
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F1uECaGC-1610456506478)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110214742266.png)]
主节点安装server,所有节点安装agent。安装完成检查配置目录是否存在:
server:/etc/cloudera-scm-server
agent:/etc/cloudera-scm-agent
查看 /opt/cloudera 目录:parcel-repo目录是存放CDH6.3.2的路径。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-exG43GYs-1610456506479)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110215839670.png)]
5.server节点上配置 MySQL 数据库
建立数据库:
-- grant all on 库名.表名 to '用户名'@'IP地址' identified by '密码';
set global validate_password_policy=LOW;
set global validate_password_length=3;
create database cmf default character set = 'utf8';
grant all on cmf.* to 'cmf'@'%' identified by '123456';
create database amon default character set = 'utf8';
grant all on amon.* to 'amon'@'%' identified by '123456';
create database hue default character set = 'utf8';
grant all on hue.* to 'hue'@'%' identified by '123456';
create database oozie default character set = 'utf8';
grant all on oozie.* to 'oozie'@'%' identified by '123456';
配置数据库连接:
cd /etc/cloudera-scm-server
#备份数据库配置
cp db.properties db.properties.bak
#修改数据库配置
vim /etc/cloudera-scm-server/db.properties
#指定数据库类型为mysql
com.cloudera.cmf.db.type=mysql
#指定数据库的地址以及端口号
com.cloudera.cmf.db.host=dbserver
#指定CM数据库的名称
com.cloudera.cmf.db.name=cmf
#指定CM用户的用户名
com.cloudera.cmf.db.user=cmf
#指定CM用户的密码
com.cloudera.cmf.db.password=123456
#指定数据库使用为外部数据库
com.cloudera.cmf.db.setupType=EXTERNAL
6.启动cloudera
启动 server:
#启动 server
systemctl status cloudera-scm-server
#查看状态
systemctl status cloudera-scm-server
#查看日志
tail -F /var/log/cloudera-scm-server/cloudera-scm-server.log
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KE2XRTix-1610456506480)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231050566.png)]
启动 agent:
#启动 agent
systemctl start cloudera-scm-agent
#查看状态
systemctl status cloudera-scm-agent
四.搭建ClouderaManager
1.登陆cdh安装界面
浏览器访问 http://hadoop01:7180,进入cdh登录界面,默认账户密码 admin admin
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lTvu0IY6-1610456506481)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231421461.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8YGJynis-1610456506482)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231454749.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fAKCdWDa-1610456506483)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110235829300.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3B0HUkAg-1610456506484)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231609766.png)]
2.群集安装
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XOsYv6sg-1610456506485)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110231753734.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mIj4M8xe-1610456506486)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110235958354.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DjGrjSoa-1610456506487)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210110235914875.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zdjpCn1b-1610456506488)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210111000422053.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5mownKpx-1610456506489)(C:\Users\gonghf\AppData\Roaming\Typora\typora-user-images\image-20210111002235106.png)]
[外链图片转存中…(img-lTvu0IY6-1610456506481)]
[外链图片转存中…(img-8YGJynis-1610456506482)]
[外链图片转存中…(img-fAKCdWDa-1610456506483)]
[外链图片转存中…(img-3B0HUkAg-1610456506484)]
2.群集安装
[外链图片转存中…(img-XOsYv6sg-1610456506485)]
[外链图片转存中…(img-mIj4M8xe-1610456506486)]
[外链图片转存中…(img-DjGrjSoa-1610456506487)]
[外链图片转存中…(img-zdjpCn1b-1610456506488)]
[外链图片转存中…(img-5mownKpx-1610456506489)]