Vmware测试环境下搭建CDHv5.4(Coudera Hadoop大数据平台搭建)

第N次搭建，每次自己没有整理步骤，都是从网上搜，每次搜的资料又都不一样，搭起来很浪费时间。

这次整理一下，防止再次搭建，此处演示在Vmware上安装。(网络环境调整好，与物理机上安装方式一样，属于离线安装）

 

1.安装Vmware，配置四个镜像【CentOS-6.4-x86_64-minimal.iso】节点机，各节点能相互ping通，并能访问外网环境，步骤：

a) 修改虚拟机IP：vi /etc/sysconfig/network-scripts/ifcfg-eth0

           

b）删除：rm -fr /etc/udev/rules.d/70-persistent-net.rules

c）centos6:关闭防火墙 【service iptables stop】 【chkconfig iptables off】

d)  配置Selinux：vi /etc/selinux/config  修改SELINUX为disabled

e）配置host与hostname： vi /etc/hosts

                                            vi /etc/sysconfig/network

                                  

f)配置&&安装jdk1.7

vi + /etc/profile
export JAVA_HOME=/my/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

2.配置时间同步

所有节点安装NTP：
yum install ntp
配置开机启动：
chkconfig ntpd on
检查是否设置成功：
chkconfig --list ntpd （2-5为on状态则成功）
设置同步：
ntpdate -u ntp.sjtu.edu.cn（时钟服务器根据实际环境设置、本文采用210.72.145.44-国家授时中心服务器IP地址）

3.配置ssh免密登录

#全局配置免密钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

#全局拷贝当前节点免密钥至指定节点                                            
ssh-copy-id node01 

#使用node01各节点同步密钥                                                     
for i in {2..4};do scp ~/.ssh/authorized_keys  node0$i:~/.ssh/authorized_keys;done

 

3.安装cdh前置插件

yum install wget

yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

4.上传chd安装包
CDH-5.4.10-1.cdh5.4.10.p0.16-el6.parcel
CDH-5.4.10-1.cdh5.4.10.p0.16-el6.parcel.sha1
manifest.json
cloudera-manager-el6-cm5.4.10_x86_64.tar.gz
mysql-connector-java-5.1.47.jar

5.解压cdh安装包

mkdir /opt/cloudera-manager

tar zxvf cloudera-manager*.tar.gz -C /opt/cloudera-manager

6.绑定cdh主server和副agnet的关系

vi /opt/cloudera-manager/cm-5.4.10/etc/cloudera-scm-agent/config.ini

server_host=node01

7.node01-node4所有节点设置创建用户
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

8.Server节点 node01
mkdir -p /opt/cloudera/parcel-repo
mv /my/{CDH-5.4.10-1.cdh5.4.10.p0.16-el6.parcel,CDH-5.4.10-1.cdh5.4.10.p0.16-el6.parcel.sha1,manifest.json} /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

9.Agent节点 node01-04
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

10.为node01安装mysql并配置server数据库

mkdir /usr/share/java

cd /usr/share/java
mv /my/mysql-connector-java-5.1.47.jar ./
mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar
mysql -uroot -p
grant all on *.* to    'root'@'%'             identified by  'root'       with grant option;
grant all on *.* to    'temp'@'%'             identified by  'temp'       with grant option;
FLUSH PRIVILEGES;

11.执行数据库创建脚本
cd /opt/cloudera-manager/cm-5.4.10/share/cmf/schema/
./scm_prepare_database.sh mysql root -h node01 -uroot -proot --scm-host node01 scm scm scm

12.分发node02-node04

scp -r /opt/cloudera-manager/ node02:/opt/

13. 启动server和agent

cd /opt/cloudera-manager/cm-5.4.10/etc/init.d

主节点启动server
./cloudera-scm-server start

副节点启动agent
./cloudera-scm-agent start
tail -f ../../log/cloudera-scm-server/cloudera-scm-server.log
tail -f ../../log/cloudera-scm-agent/cloudera-scm-agent.log
./cloudera-scm-server status
./cloudera-scm-agent status
等待7180表示启动成功

14.本机访问http://node01:7180/    账号密码默认 admin/admin

使用免费版本

免费版提供的服务

管理监听到的agent节点

选择刚才上传的安装版本进行离线安装

安装完成