CDH6.2 安装

准备

规划

（1）一般先预估存储量，根据存储预估hdfs存储的磁盘个数，另外也要考虑到机器的磁盘卡槽的个数，注意:cdh推荐的大小为小于或者等于4T的盘，否则可能出现复制风暴，cdh推荐做JBOD(有cdh的实验证明jbod比raid0的要块30%，时间有点长找不到网站了)。数据节点推荐做raid10。其他的存储情况参考：https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/cm_ig_reqs_space.html#concept_tjd_4yc_gr

（2）根据datanode的节点的个数规划大数据的组件，官方提供了不同的大小推荐服务分布。https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_ig_host_allocations.html

安装

硬件准备

1. 组装服务器

2. 安装操作系统

3. parted挂载分区，MBR分区表只支持2T磁盘，所以大于2T的磁盘必须使用GPT分区表

安装前准备

1. 配置网络名称：

hostnamectl set-hostname foo-1.example.com

修改/etc/hosts

修改/etc/sysconfig/network，

HOSTNAME=your hostname

2. 关闭防火墙

sudo iptables-save > ~/firewall.rules

sudo systemctl disable firewalld
sudo systemctl stop firewalld

3.设置selinux

vim /etc/selinux/config

修改SELINUX=enforcing 到SELINUX=permissive

4. 开启ntp服务并同步时间

5.安装java （注意java 安装最好安装java8的高版本因为在做kerberos安全的时候需要java8以上的版本否则需要补丁）

6.免密登录

7.安装mysql：步骤和相关库的创建https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/cm_ig_mysql.html

8.自建yum仓库

 

a.安装httpd       yum install httpd

b.创建资源目录目录  mkdir /root/ cloudera-repos

c.上传需要文件（下载地址Rpm: https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/

Parcel: https://archive.cloudera.com/cdh6/6.2.0/parcels/

）

d.执行createrepo .复制cloudera-repos到/var/www/html/ 目录下

e.网络访问：http://ip/cloudera-repos/ 可以访问到文件

f. cd /etc/yum.repos.d/ 修改cloudera-manager.repo 的baseurl为

 baseurl = http://<master_ip> /cloudera-repos/

安装cloudera

1. 安装cloudera   yum install cloudera-manager-server

2. 执行scm_prepare_database.sh 脚本。

sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql  scm scm scm

3. 启动server：systemctl start cloudera-scm-server

4.页面访问7180端口即可

安装agent和parcel

都是界面化操作，需要注意：当执行选择存储库时 自定义存储库=》http://<master_ip>/cloudera-repo/

可能遇到的问题：

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响

 

解决方法:

>>echo 0 > /proc/sys/vm/swappiness

问题2：

已 启用“透明大页面”，它可能会导致重大的性能问题，将会影响到以下主机：

解决办法：

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled