centos 安装 CDH（2020-10-31）

CDH单机版安装

机器的磁盘分配至少100G

机器的内存分配至少8G

机器的核数至少4个核

配置主机名 域名映射 /etc/hostname /etc/hosts

配置免密 ssh-keygen ssh-copy-id doit

配置ip地址 /etc/sysconfig/network-scripts/ifcfig-ens33

IPADDR GATEWAY NERMASK DNS1

关闭防火墙 *** systemctl stop|disable|status firewalld

时间同步 date -s ntpdate

修改配置

修改/etc/selinux/config文件中设置SELINUX=disabled

在windows上配置虚拟机的域名映射

1 下载

CDH，全称Cloudera’s Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的

一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存

储、分布式计算），最为重要的是提供基于web的用户界面。

CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多种安装方式（如Yum、

rpm等）。

CDH分为Cloudera Manager管理平台和CDH parcel（parcel包含各种组件的安装包）。这里采用

CDH6.2.0。

https:*//archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_*64

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SeRwXTlc-1604147513544)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20201011202840365.png)]

CDH6.2.0 parcel地址为：https://archive.cloudera.com/cdh6/6.2.0/parcels/

由于操作系统为CentOS7，需要下载以下文件：

2 安装步骤

将安装包上传到linux虚拟机的指定位置

2.1 安装下载包中的,oracal jdk

# 查询已安装的java 
rpm -qa | grep java
# 卸载
yum remove java*
# 安装
rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm 
# 配置环境变量 
vi /etc/profile 
末尾添加 
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/ 
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib 
export PATH=$PATH:$JAVA_HOME/bin 
source /etc/profile 
java ‐version验证

2.2 将mysql的驱动包上传到系统指定的目录下

创建/usr/share/java目录，将mysql-jdbc包放过去

mkdir -p /usr/share/java

#一定要命名为mysql‐connector‐java.jar

2.3 安装mysql(在线安装方式)

1 yum -y install wget

2 wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

3 yum -y install mysql57-community-release-el7-10.noarch.rpm

4 yum -y install mysql-community-server

5 service mysqld start

6 netstat -nltp | grep 3306

7 grep “password” /var/log/mysqld.log 查看原始密码

grep ‘password’ /var/log/mysqld.log
2020-06-24T07:21:25.731630Z 1 [Note] A temporary password is generated for root@localhost: Apd>;WYEc2Ir
2020-06-24T07:21:48.097350Z 2 [Note] Access denied for user ‘root’@‘localhost’ (using password: NO)

8 登录 mysql -uroot -pWYEc2Ir

9 修改密码

1. mysql> set global validate_password_policy=0;
2. mysql> set global validate_password_length=1; 这个两个设置以后 密码很简单不会报错
3. ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘root’;

2.3.1开启mysql的远程连接权限

# 开启root用户远程登录权限

mysql> grant all privileges on . to ‘root’@’%’ identified by ‘root’ with grant option;

mysql> flush privileges;

2.3.2 为个组件创建数据库

 drop database cmserver ;
 create database cmserver default charset utf8 collate utf8_general_ci;
 grant all on cmserver.* to 'root'@'%' identified by 'root'; 
 -- 给hive 
 drop database metastore ;
 create database metastore default charset utf8 collate utf8_general_ci; 
 grant all on metastore.* to 'root'@'%' identified by 'root'; 
 -- 给CM的activity mornitor 
  drop database amon ;
 create database amon default charset utf8 collate utf8_general_ci; 
 grant all on amon.* to 'root'@'%' identified by 'root';
 -- 给CM的Reports Manager 
  drop database rman ;
 create database rman default charset utf8 collate utf8_general_ci; 
 grant all on rman.* to 'root'@'%' identified by 'root'; 
 drop database oozie ;
 create database oozie default charset utf8 collate utf8_general_ci; 
 grant all on oozie.* to 'root'@'%' identified by 'root'; 
 drop database hue ;
 create database hue default charset utf8 collate utf8_general_ci;
 grant all on hue.* to 'root'@'%' identified by 'root';

2.4 配置cloudera manager本地yum源

2.4.1 安装httpd服务

yum -y install httpd

systemctl start httpd

systemctl enable httpd.service #设置httpd服务开机自启

2.4.2 配置本地yum源

mkdir -p /var/www/html/cloudera-repos/

#将cdh manager安装包所在文件夹移入

mv cloudera-repos-6.2.0 /var/www/html/cloudera-repos/cm6

# 创建repodata

cd /var/www/html/cloudera-repos/cm6/

yum -y install createrepo

createrepo .

2.4.3 生成本地yum源配置

vi /etc/yum.repos.d/cloudera-manager.repo

[clouder-manager]

name=Cloudera Manager, Version

baseurl=http://doita/cloudera-repos/cm6/

gpgcheck=1

enabled=1

yum clean all

yum makecache

如果失败

报403 说明权限被拒绝访问，修改/etc/selinux/config文件中设置SELINUX=disabled 注意一定要重启服务器才能生效。
报400 说明连接无效，比如主机名（域名）配置带有特色字符eg: node_cdh，注意检查相关配置

2.4.4 导入 GPG key

rpm --import http://doit/cloudera-repos/cm6/RPM-GPG-KEY-cloudera

2.5 安装cloudera manager

sudo yum -y install cloudera-manager-daemons

sudo yum -y install cloudera‐manager‐agent

sudo yum -y install cloudera‐manager‐server

• 安装完CM后/opt/ 下会出现cloudera目录

# 将parcel包移动到指定位置 /opt/cloudera/parcel-repo/下
mv /opt/parcels/* /opt/cloudera/parcel-repo

• 在/opt/cloudera/parcel-repo执行以下命令：

sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel | awk ‘{ print $1 }’ > CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha

• 初始化脚本

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmserver root root

• 打开服务

systemctl start cloudera‐scm‐server.service 

2.6 稍等片刻 打开页面http://主机域名:7180

用户名和密码默认都为 admin

bug小能手之 日志目录：

** /var/log/ **