CDH5.7/5.8离线安装-使用CM5,基于CentOS 6.7

原创 2016年06月01日 19:06:18

截至到2016年5月30日,在网上都没有找到离线安装CDH5.6的文章,最新的就是5.6,经过各种试验,总算装好了,记录如下。

一、基础环境
1.操作系统:Centos6.5 Minimal版本
2.CDH 5.7/5.8
3.Cloudra Manager版本5.7/5.8
4.JDK版本:5.7用的JDK7,5.8用的JDK8
5.使用VirtualBox 5搭建3个虚拟机
6.硬件:笔记本 i5第6代,16G内存,256G固态硬盘
7.所有操作都是用root用户,且各个虚拟机root用户密码都设置成一样的

二、主机基础配置
各种基础配置在网上已经到处都是了,没有什么特殊的。
主要环节如下:
1、每台机器配置hosts

2、关闭防火墙和selinux

3、ssh无密码登录
注意,master机器也要免登录自己,否则,安装过程中,启动Yarn服务这一步会失败,而且在日志中还找不到任何错误。

4、安装JDK
1)卸载自带java
rpm -qa |grep java
yum remove java*(删除自带的java)
2)安装jdk(每个节点rpm安装)
rpm -ivh jdk1.7.0_67.rpm

!!!重点!!!
JAVA安装后,CDH需要一个/usr/java/default的软链接,否则安装CM的过程中,会出现找不到JAVA_HOME的错误。
进入/usr/java目录:ln -s /opt/java/jdk1.7.0_67 default。

之后,修改/etc/profile:

export JAVA_HOME=/usr/java/default
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

启动:source /etc/profile

5、ntp时间同步
1)安装NTP(每个节点): yum install ntp
2)配置NTP
master配置:

vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10
restrict 192.168.56.0 255.255.255.0 nomodify notrap

chkconfig ntpd on
service ntpd start

slave配置:

vi /etc/ntp.conf
server master

service ntpd start
chkconfig ntpd on

3)查看同步效果 命令:ntpstat
每台机器上都看看,应该看到类似下面的提示:
synchronised to NTP server (192.168.56.105) at stratum 12

三、Cloudera Manager安装
下载地址:
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7/RPMS/x86_64/
1、master节点安装
将下载好的rpm包放到一个文件夹中(比如:cm5),进入到这个文件夹手动安装:

yum localinstall --nogpgcheck *.rpm

在使用mysql作为数据库时,则不需要下载和安装 cloudera-manager-server-db-xxx.rpm,此包为postgresql数据库的安装包.

2、slave节点安装
只需安装cloudera-manager-agent.rpm和cloudera-manager-daemons.rpm
(使用yum localinstall安装)

3、正式安装cloduera manager
使用http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin,进行安装。

chmod u+x cloudera-manager-installer.bin
./cloudera-manager-installer.bin

然后一直下一步,accept等,直到执行完成。
注意:有可能需要先把/etc/cloudera-scm-server/db.properties文件删除掉。否则安装程序会报告不兼容。

安装过程的日志,默认记录到:/var/log/cloudera-manager-installer/。
如果出现问题,首先到这个目录下查看出现问题的环节对应的日志文件。
(0.check-selinux.log 1.install-repo-pkg.log 2.install-oracle-j2sdk1.7.log 3.remove-cloudera-manager-repository.log)

实际上,这个文件是用于在线安装的,因为我们提前下载并安装了CM的RPM包,所以这个脚本可以迅速完成安装过程。

注意:在安装5.8这个版本时,运行.bin后,一直停在安装jdk7的环节,看“2.install-oracle-j2sdk1.7.log”,发现是连接下载JDK时超时,而且下载的是cloudera网上的jdk7。没办法,只好这么做:
1、安装httpd:yum -y install httpd
2、编辑hosts文件,把cm安装用的“archive.cloudera.com”解析成本机地址(为了骗他,免得真去cloudera上去下载jdk)
3、创建目录:/var/www/html/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/
4、把提前下载的oracle-j2sdk1.7-1.7.0-update67-1.x86_64.rpm放进去(记得把1.7.0-update67改为1.7.0+update67)
5、cd /var/www/html/cm5/redhat/6/x86_64/cm
6、wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera (先把hosts文件恢复了再执行)
7、启动httpd:apachectl start
再开始安装,这时候cm会从本机下载jdk并安装。但是你仍然可以使用之前已经安装的jdk8。
8、安装结束后,记得把hosts文件恢复回去,否则下面装CDH的时候会跑到本机去下载相关包。

安装结束后,登录:http://192.168.56.105:7180/cmf

四、安装CDH 5.7或5.8
1、下载CDH软件包:
http://archive.cloudera.com/cdh5/parcels/5.7/
下载el6的两个parcel文件(6就是centos6),和manifest.json
把parcel.sha1更名为 parcel.sha,否则安装时又会下载一遍

注意:http://archive.cloudera.com/cdh5/cdh,这个目录是CDH中所有用到的组件的变更日志及源码(Hive、Hbase等等)

刚刚master节点上安装完成了CM,会在/opt目录下生成cloudera文件夹,将刚才下载的三个文件移动到/opt/cloudera/parcel-repo目录下面。

登录:http://192.168.56.105:7180/cmf
一路NEXT,完成CDH的安装。

注意点:
1. 在搜索集群主机画面,输入ip范围进行搜索:192.168.56.[105-107]。master也要选上。如果不选master,那么这个机器仅仅是CM的主机而不属于hadoop集群了,诸如NameNode、Hbase的HMaster等主控服务都会被安装到slave1上。
2. 提前把 /opt/cloudera 目录下的目录和文件修改权限:chown -R cloudera-scm.cloudera-scm *(因为CDH5.8需要这个用户进行安装)。
3. “提供ssh登录凭据”页面,选择root,并且接受相同的密码。
指定主机的 SSH 登录方式
一种通过root用户,密码需要一致,刚开始安装建议使用root。
也可以使用非root用户,但是需要保证sudo无密码访问。
实现方法如下:
(给hdfs用户设置无密码sudo权限)

chmod u+w /etc/sudoers
hdfs ALL=(root)NOPASSWD:ALL
chmod u-w /etc/sudoers
测试:sudo ifconfig

期间,可能会出现错误,有的错误是因为虚拟机内存不够导致的,可以多重试几次就过了。

另一个错误:
安装完毕后集群HDFS报警:
群集中有 9 个 副本不足的块 块。群集中共有 11 个块。百分比 副本不足的块: 81.82%。 临界阈值:40.00%
产生的原因是因为集群中DataNode节点只有2个,而安装过程中采用的都是默认配置,dfs.replication 设置的为3,所以导致次报警。解决办法:配置dfs.replication值为2并执行以下命令:

su hdfs
hadoop fs -setrep 2 /

如果出现“正在获取安装锁”卡住不动了,删掉锁文件:
rm -rf /tmp/.scm_prepare_node.lock

需要知道的

启动服务:service cloudera-scm-server restart
启动Agent:service cloudera-scm-agent restart
服务出了问题,记得首先去看相应的日志:/var/log/cloudera*,这些目录里面记录着各种日志。

CDH安装后的各种配置文件、目录位置等信息:
1、相关目录

/var/log/cloudera-scm-installer : 安装日志目录。
/var/log/* : 相关日志文件(相关服务的及CM的)。
/usr/share/cmf/ : 程序安装目录。
/usr/lib64/cmf/ : Agent程序代码。
/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
/usr/bin/postgres : 内嵌数据库程序。
/etc/cloudera-scm-agent/ : agent的配置目录。
/etc/cloudera-scm-server/ : server的配置目录。
/opt/cloudera/parcels/ : Hadoop相关服务安装目录。
/opt/cloudera/parcel-repo/ : 下载的服务软件包数据,数据格式为parcels。
/opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。
/etc/hadoop/* : 客户端配置文件目录。

2、配置文件
配置文件放置于/var/run/cloudera-scm-agent/process/目录下。
如:/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。这些配置文件是通过Cloudera Manager启动相应服务(如HDFS)时生成的,内容从数据库中获得(即通过界面配置的参数)。
在CM界面上更改配置是不会立即反映到配置文件中,这些信息会存储于数据库中,等下次重启服务时才会生成配置文件。且每次启动时都会产生新的配置文件。

五、安装后验证
1、验证MR程序

# 添加用户和组
groupadd cdh-dev
useradd -g cdh-dev cdh-dev
lid cdh-dev

# hadoop创建相应的用户
sudo -u hdfs hdfs dfs -mkdir /user/cdh-dev
sudo -u hdfs hdfs dfs -chown cdh-dev:cdh-dev /user/cdh-dev

# 运行wordcount程序
su - cdh-dev
echo "Hello world Bye world" > file0
echo "Hello hadoop Goodbye hadoop" > file1
hdfs dfs -mkdir -p /user/cdh-dev/wordcount/input
hdfs dfs -put file* /user/cdh-dev/wordcount/input
hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar wordcount wordcount/input wordcount/output
hdfs dfs -getmerge wordcount/output output.txt
cat output.txt

2、验证Hive

su - cdh-dev
echo "Alex, Cloudera" > hive-data
echo "fd, jinz" >> hive-data
hdfs dfs -mkdir -p hive/table-data-files
hdfs dfs -put hive-data hive/table-data-files
vi hive-data.sql
------------------------------------------
create external table test(
name string,
company string
)
row format delimited
 fields terminated by ','
 stored as textfile
 location '/user/cdh-dev/hive/table-data-files'
------------------------------------------
hive -f hive-data.sql
hive -e "select * from test"
hive -e "drop table test"

3、验证HBase
创建表

create 'record', {NAME => 'user'}
put 'record', 'Alex', 'user:company', 'Cloudera'
# 验证一下: get 'record', 'Alex'

# 用vi创建文件 hbase_on_hive.hql
create external table hbase_on_hive(
name string,
company string
)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties ( "hbase.columns.mapping" = ":key, user:company" )
tblproperties ( "hbase.table.name" = "record" );

hive -f hbase_on_hive.hql
hive -e "select * from hbase_on_hive" -- 无数据
hive -e "insert overwrite table hbase_on_hive select * from test"
hive -e "select * from hbase_on_hive" -- 可以看到数据已经进去了
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Cloudera Manager5.8.0离线安装记

目录 目录 安装说明 有关数据库配置 关于Oozie数据库配置 关于Hue数据库配置 附其他数据库的配置 错误解决 错误1CM Server启动出错 错误2CM Agent启动出错 错误3spark启...

安装方式B--使用ClouderaManager的Parcels包进行安装

安装方式B–使用ClouderaManager的Parcels包进行安装安装方式B使用从ClouderaManager依赖库下载的包进行安装。安装JDK、Agents、CDH、Managed Serv...

Cloudera Manager 5和CDH5离线安装

CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Had...
  • JDPlus
  • JDPlus
  • 2015-05-22 19:46
  • 27769

Cloudera Manager 5和CDH5离线安装,CDH-5.7.1

转载自:http://blog.csdn.net/jdplus/article/details/45920733 (部分内容经过修改和编辑) CDH (Cloudera’s Distribut...

hadoop hbase hive 常见问题解决

Hadoop常见问题,hbase常见问题,hive常见问题。结合网络资料 和自己遇到的整理。
  • lhy66
  • lhy66
  • 2015-03-24 10:29
  • 26248

hadoop基础----hadoop实战(九)-----hadoop管理工具---CDH的错误排查(持续更新)

啊解决红色警报时钟偏差这是因为我们的NTP服务不起作用导致的,几台机子之间有几秒钟的时间偏差。这种情况下一是把NTP重新整理配置一下。一种是在操作里调整报警误差范围。因为NTP的时间同步是平滑同步,不...

CDH问题及维护汇总

目录:一、HIVE错误二、HDFS错误三、oozie错误四、Kafka错误五、Hbase错误六、Yarn和CM错误七、维护及添加服务八、其他错误————————————————————————————...

CDH5.3.2安装详细文档以及相关问题处理

版本约定 操作系统版本centos6.5,64位 jdk1.6的版本也支持jdk1.7的版本 python版本为2.6或者2.7 集群版本cdh5.3.2 cloudera manager 5.3 ...

CDH5.7.2-Hadoop集群CentOS7下的搭建(离线安装)

说明:在本地虚拟机环境中进行CDH5.7.2集群的搭建,在搭建之前请先在虚拟机上装好三台CentOS7,三台内存分别为8g,2g,2g准备 JDK环境 版本:jdk-8u101-linux-x64...

CDH 5.9 CentOS 6.5 离线安装部署

CDH 5.9 离线安装部署手册 站在巨人的肩膀上面继续前进,不断的踩坑与填坑,感谢破击手的参考指南。安装包下载考虑到公司机器不能直接上外网,采用离线安装方式,需要先下载好安装包如下。 Clou...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)