「hadoop」centos7.2 上进行cdh5.7.2离线安装

已实机验证ok

环境
在win7 64位上通过vmware虚拟机安装三台centos7.2，内存分配分别为6G，1G，1G

其它必要软件：
CM：http://archive.cloudera.com/cm5/cm/5
parcel：http://archive.cloudera.com/cdh5/parcels/

注意事项：
1、root用户
2、parcel与cm版本一致
3、使用java默认路径（rpm包）

【配置centos minimal】

1、打开网络
默认网络处于关闭，nmtui命令进入配置页面

2、安装net-tools，支持ifconfig命令

3、设置主机名
/etc/hosts
10.0.203.71  cdj1

/etc/sysconfig/network（network这一步没加上貌似也没问题）
NETWORKING=yes
HOSTNAME=cdj1

4、增加主机名映射，位于/etc/hosts

【更新yum源】
#yum update

【安装python】
默认已安装

【安装其他库】
yum -y install gcc gcc-c++ make automake autoconf libtool perl

【关闭SELINUX】
# vi /etc/sysconfig/selinux
SELINUX=disabled
重启才能生效
重启后检查
[root@hadoop1~]#sestatus -v
SELinux status: disabled
表示已经关闭了

【安装编译环境】
这一步用于能够顺利安装vmware-tools
1、需要update
2、安装kernel-headers kernel-devel gcc
3、重启
参考如下命令：
#yum -y update
#yum -y install kernel-headers kernel-devel gcc
#reboot

【安装vmware-tools，文件共享】
用于win与centos文件共享，注意事项：
1、需要手动挂载/dev/cdrom才能访问cdrom

【安装java】
建议安装rpm格式，因为最好用默认路径
JAVA_HOME路径设置位于/etc/profile
#source /etc/profile让设置立即生效

【安装pstree】
#yum install psmisc

【免密码ssh】
在A生成公钥 #ssh-keygen -t rsa
添加到B中 #ssh-copy-id root@B // root为主机B的用户名

【关闭防火墙】
查看防火墙是否开启：#firewall-cmd --state
关闭防火墙：#systemctl stop firewalld.service
禁止防火墙开机启动：#systemctl disable firewalld.service

【安装mysql数据库】（主节点）

【parcel文件拷贝】（主节点）
1、拷贝parcel等三个文件到/opt/cloudera/parcel-repo/，手动创建目录
2、xxx.sha1改名为xxx.sha

【CM安装】
解压cm包到/opt目录下
mysql驱动jar包拷贝到 /usr/share/java/mysql-connector-java.jar

/opt/cm-5.7.2/share/cmf/lib，并改名为mysql-connector-java.jar
修改成主节点名称 /opt/cm-5.7.2/etc/cloudera-scm-agent/config.ini， 设置server_host=<namenode名称>
修改java路径，注意版本对应上，比如jdk8对应JAVA8_HOME_CANDIDATES
/opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh
/opt/cm-5.7.2/share/cmf/bin/cmf-server

【创建cloudera-scm用户】
#useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

【初始化CM数据库，仅主节点】
#/opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql cm -h10.0.203.10 -P3306 -uchendajian -p123456 --scm-host localhost root 123456
说明：这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指：
mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。
-10.0.203.10：数据库主机。
-uroot：root身份运行mysql。-p123456：mysql的root密码是123456。
--scm-host localhost：CMS的主机，一般是和mysql安装的主机是在同一个主机上。
最后三个参数是：数据库名，数据库用户名，数据库密码。
数据库连接配置文件位于 /etc/cloudera-scm-server/db.properties

【创建预设数据库】
mysql中依次创建hive, activity，oozie，hue等数据库，参考代码：create database activity DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

【启动Cloudera Manager】
agent需要等待server完全启动后才能启动
主节点
#/opt/cm-5.7.2/etc/init.d/cloudera-scm-server start
#/opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start

从节点
#/opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start
当cloudera-scm-server、cloudera-scm-agent start启动成功之后，可通过http://主节点IP:7180来访问CM，用户名密码都为admin。剩下的就是一直点下一步和根据具体的需求来配置集群了。


【配置】
服务启动几分钟后，浏览器打开配置网页 http://<namenode>:7180
用户名密码都为admin

【其它说明】
部分步骤参考：http://blog.csdn.net/shawnhu007/article/details/52579204

安装失败，需要清理再重装
1、rm -rf /opt/cm-5.7.2/lib/cloudera-scm-agent/*;
2、删除并重装cm数据库；

安装过程中在安装HDFS /tmp目录中被超时中止
返回再安装即可，有可能是安装时间过长引起

转载于:https://www.cnblogs.com/ftrako/p/7791897.html