CentOS7搭建CDH5

CentOS7及Cloudera Manager

此处省略两万字…………^_^

环境要求

1.1 内存分配

觉得内存大的可以随性 ^_^

1.2 本次安装需要的jar包

jdk-8u144-linux-x64.tar.gz
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
manifest.json
mysql5.7

1.3 更改Yum源

（所有agent的节点）执行下载第三方依赖
更改为阿里yum源

1.4 安装JDK

1.5 关闭SELINUX和防火墙

1.6 hosts映射

1.7 下载第三方依赖

（所有agent的节点）执行下载第三方依赖
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

1.8 ssh免密登录

#生成公钥
ssh-keygen -t rsa

#拷贝公钥到其他节点

1.9 NTP时间和时钟同步服务

1.10 安装配置mysql

CM安装部署

2.1 解压cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz

2.2 创建用户cloudera-scm（所有节点）

[root@bigdata111 cloudera-scm-server]# useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm

2.3 配置CM Agent

vi config.ini

2.4 配置CM的数据库

[root@bigdata501 cm-5.12.1]# cp mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/
[root@bigdata501 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

2.5 分发cloudera-manager

2.6 创建Parcel-repo 目录

1. Servre 节点创建目录/opt/cloudera/parcel-repo

2.拷贝下载文件到/opt/cloudera/parcel-repo

3.在Agent 节点创建目录/opt/cloudera/parcels

2.7 关闭交换空间 & 大页面空间

echo "vm.swappiness = 0" >> /etc/sysctl.conf

#
echo "10" > /proc/sys/vm/swappiness

#关闭大页面压缩
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

2.8 启动和关闭CM Server&Agent 服务

cloudera-scm-server start
cloudera-scm-agent start

切记：

windows配置hosts
莫慌！莫慌！耐心等会儿^_^

不多说，默认 admin：admin

打完！收工！

此篇多为步骤，尝试详细记载，太耗时间，还是靠自己多琢磨吧