#CDH5.8安装说明
@(Hadoop)
使用过Ambari,不知道是因为没有商业运作支撑还是社区活跃度有限,总体管理能力只能算凑合。很多Hadoop组件版本都不高,Spark也才1.3.X,Sqoop还是1.4.6.2.3,相对版本都比较低,而且管理并不算优秀。遂放弃,准备使用CDH做下测试。
CDH在版本跟踪上还是比较密切贴近Hadoop的各个模块版本,基本上在修复版本上差个一两个版本。逼近CDH一直有在做Issue的修复,很多修复也都是直接提交给Apache,所以自身版本的集成速度还是可以满足有尝鲜需求的开发者。
###准备工作
查看SSH无密码登录配置
另外,需要安装Python2.6或2.7版本
jdk1.7
###安装cdh-manager-sever
首先,先下载repo,
wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo
然后,将下载的cloudera-manager.repo文件拷贝至/etc/yum.repos.d/
路径下
运行安装命令yum install cloudera-manager-daemons cloudera-manager-server
,默认下载最新的CDH版本。然后,开始非常漫长的下载,因为外网下载实在很狗屎,原因大家都明白。
当然,还有捷径哦,直接http://archive.cloudera.com/cm5下载你要的版本installer,chmod u+x相关bin文件,然后./*.bin该文件,即可进入界面化安装操作。一路确认,接受license,最后也是要通过外网下载安装包,然后依然慢的像狗屎。
好吧,为什么非得他们来下载呢,用迅雷自己下载啊,那链接呢
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.8.1/RPMS/x86_64/
找到了。
###安装MySQL并配置
本身hive/Oozie/Hue等都会使用到MySQL,因而安装MySQL是必须的。
CentOS7安装MySQL有些蛋疼,总是出错,原来是需要初始化
mysql_install_db --user=mysql --datadir=/data/db/mysql/
,其中,datadir需要清空,并配置到my.cnf文件中
初始化基本数据库
--hive数据库,为什么使用latin1,后面安装异常会做说明
create database hive DEFAULT CHARSET latin1;
--集群监控数据库
create database amon DEFAULT CHARSET utf8;
--hue数据库
create database hue DEFAULT CHARSET utf8;
--oozie数据库
create database oozie default charset utf8