转载地址:https://app.yinxiang.com/shard/s21/sh/fcfdce0e-6147-45c8-a70b-0f5cd76ca39f/3a24925c253d5d859d7eccb1481ba46e
一、安装说明
系统环境:CentOS-6.3
Hadoop版本:CDH4 - 4.8.3
二、安装前提
1、下载rpm包
cloudera-manager-agent-4.8.3-1.cm483.p0.128.el6.x86_64.rpm
cloudera-manager-daemons-4.8.3-1.cm483.p0.128.el6.x86_64.rpm
cloudera-manager-installer.bin
cloudera-manager-server-4.8.3-1.cm483.p0.128.el6.x86_64.rpm
cloudera-manager-server-db-4.8.3-1.cm483.p0.128.el6.x86_64.rpm
2、配置本地源,后面安装时需要使用到该地址
由于很多情况下,需要离线操作,所以这里提供离线安装的方法,也即是提供本地yum源的方法!
1,安装apache服务 yum install httpd httd-service
放在本地,文件结构
修改apache的httpd.conf,找到DocumentRoot修改为 chd和cm的存放目录
三、安装
一、安装JAVA并且设置JAVA环境变量,
如果已经安装或设置,忽略此步
JAVA_HOME=/usr/java/jdk1.6.0_31
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
修改保存,然后执行 source /etc/profile,立即生效
二,安装postgdsql(cm管理数据都保存在postgdsql数据库内,所以这个是必须要安装的)
1、检出最新的postgresql的yum配置从http://yum.pgsqlrpms.org/reporpms/repoview/pgdg-centos.html
然后根据版本选择需要的rpm后执行下列命令
rpm -Uvh http://yum.pgsqlrpms.org/reporpms/8.3/pgdg-centos-8.3-6.noarch.rpm
2、安装或者升级postgresql-libs
yum upgrade postgresql-libs
3、安装postgresql
yum install postgresql postgresql-server
4、初始化数据库以及启动服务(必须手动初始化数据库,不然安装的时候会出错)
service postgresql initdb
service postgresql start
三,安装cyrus-sasl-gssapi
yum install cyrus-sasl-gssapi
四,关闭防火墙,selinux
service iptables stop
注意:为了防止网络问题设置yum.conf
retries=20(重新试验20次)
五 安装cloudera-manager-installer.bin
chmod u+x cloudera-manager-installer.bin (授权)
都是next ,安装完成后打开浏览器输入ip:7180
六,开始cdh的安装
(1),选择需要安装的cdh版本,一共3个版本,不过只有第一个版本是免费的,所以我们 只选择第一个版本
(2)next下一步,搜索host主机名,选择主机 下一步
(3) 开始cdh4包安装,如果前期在apache里面坐了本地镜像源,现在就可以把自己的solr,impala,cdh加入到自定义存储库里面
(4)配置ssh密码,和账户,这个步骤相当于原始安装的时候采用的无密钥登陆
(5)自动ssh登陆到每一台服务器,然后安装jdk等需要安装的文件
(6)next 之后开始下载cdh4软件包,并且分配到所有的服务器上面(如果之前采用的是本地源的话,下载就会很快)
(7)cdh 下载安装之后,检测下所有服务器,没有问题就表示cdh已经成功安装,下面只需要开启你所需要的服务即可
(8)开启服务(hbase,hdfs,zk)
检测数据库
选择数据目录
继续之后,开启服务,完成之后就完全成功
全部安装成功,开始我们的hadoop之旅吧
添加新主机:
前提:
修改slave主机的如下文件
开启sshd服务。
/etc/init.d/sshd start 如果没有,需要安装sshd。
关闭selinux服务:
vi /etc/sysconfig/selinux
修改本地hostname:
/etc/sysconfig/network
修改hosts文件:
/etc/hosts,格式如下:
设置完毕后,打开CDH4的管理界面:
http://MASTERIP:7180/
1、添加新主机
2、点击“向群集添加新主机”,直接点 继续
3、输入要添加的主机名或者IP,搜索:
4、搜索到了待新增的主机
5、安装所需的
6、SSH 无密钥登陆,
建议:将master和slave1-N的密码都设置成一样的
7、正在安装,稍等片刻,从本地源中下载所需文件,Jdk也会自动安装
8、安装完成,绿色看起来爽
9、安装 parcel
后续操作类同第一次安装的操作。这样,新主机就添加完毕咯。