大数据平台CDH搭建

一、概述

Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。

二、安装部署

序号	IP地址	主机名	系统版本
1	172.20.2.222	cm-server	centos7.3
2	172.20.2.203	hadoop-1	centos7.3
3	172.20.2.204	hadoop-2	centos7.3
4	172.20.2.205	hadoop-3	centos7.3

2.2.1 基础环境部署

a.修改主机名配置hosts

systemctl stop firewalld
hostnamectl set-hostname  cm-server   #更改个主机名
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
setenforce 0
cat >>/etc/hosts<<EOF    #添加各个节点hosts解析
172.20.2.222    cm-server
172.20.2.203      hadoop-1
172.20.2.204      hadoop-2
172.20.2.205      hadoop-3
EOF

b.配置cm-server免密钥登录其他节点

ssh-keygen -t rsa     #在cm-server生成密钥对
for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done

c.在cm-server安装数据库
在cm-server上安装mariadb，用于后期数据存储

yum install mariadb*
systemctl start mariadb