CDH:全称Cloudera’s Distribution Including Apache Hadoop
CDH版本衍化
hadoop是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对hadoop做了相应的改变。
Cloudera公司的发行版,我们将该版本称为CDH(Cloudera Distribution
Hadoop)。截至目前为止,CDH共有5个版本,其中,前两个已经不再更新,最近的两个,分别是CDH4,在Apache Hadoop 2.0.0版本基础上演化而来的,CDH5,它们每隔一段时间便会更新一次。
以下是CDH5安装有可能会用到的连接,我都在下面列出:
大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术
http://www.aboutyun.com/thread-6842-1-1.html
Cloudera Manager (centos)安装详细介绍
http://www.aboutyun.com/thread-9190-1-1.html
Cloudera Manager Server命令
http://www.aboutyun.com/thread-9096-1-1.html
离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
http://www.cnblogs.com/jasondan/p/4011153.html
Linux下MySql的登陆和管理操作
http://blog.csdn.net/wuli_kiki/article/details/48719147
CentOS6.8下使用yum安装mysql,并远程登陆mysql
http://blog.csdn.net/jeffleo/article/details/53559712
在CentOS 7/6.5/6.4 中安装Java JDK 8
http://www.linuxidc.com/Linux/2014-12/110211.htm
centos 6.5下安装、配置并启动SSH远程访问
http://blog.csdn.net/xushouwei/article/details/51705699
最新的手把手教您linux环境下安装jdk1.8
https://jingyan.baidu.com/article/d5c4b52bebcb64da570dc571.html
最靠谱的CDH5安装指南
http://www.jianshu.com/p/57179e03795f
CDH5 新手详细安装教程
http://www.aboutyun.com/thread-18067-1-1.html
Cloudera Manager5及CDH5安装指导(终极在线安装)
http://www.aboutyun.com/thread-9075-1-1.html
Xshell实现Windows上传文件到Linux主机
http://blog.csdn.net/w1014074794/article/details/51919757
安装CDH5的过程
1、添加host名称
vi /etc/hosts
192.168.3.161 master
2、设置免密钥登录(可以省略)
第一步:在本地机器上使用ssh-keygen产生公钥私钥对
ssh-keygen
第二步:用ssh-copy-id将公钥复制到远程机器中
ssh-copy-id -i ~/.ssh/id_rsa.pub hucom@192.168.xx.xx
第三步: 登录到远程机器不用输入密码
ssh 用户名@192.168.x.xxx
3、修改hostName,基于第一步设置的host修改服务器的hostname
hostname master 修改下,让hostname立刻生效
vi /etc/sysconfig/network
修改原hostname为newname , reboot重启。
uname -a
重新检查下我们刚才设置好的host名称。
4、关闭SELinux
vi /etc/selinux/config
修改SELinux=disabled
5、关闭防火墙并设置开机后也关闭
service iptables stop
chkconfig iptables off
查询防火墙状态:
service iptables status
6、安装ntp服务
yum -y install ntp
chkconfig ntpd on
7、重启服务
reboot
8、需要检查的服务:
service ntpd status
/usr/sbin/sestatus -v
service iptables status
9、复制cdh的软件源到/etc/yum.repms.d/文件夹下(所有节点)
cp cloudera-manager.repo /etc/yum.repos.d/
10、清理缓存并列出可用的rpm包,如果版本和自己安装的不符,需要注意(所有节点)
yum clean all
yum list | grep cloudera
11、进入rpm文件夹,所有节点安装rpm文件(所有节点)
yum –y install *.rpm
12、将Parcel的三个文件复制到/opt/cloudera/parcel-repo(所有节点)
CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel
CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha
manifest.json
13、安装cloudera-manager-installer.bin(主节点)
给权限:
chmod +x ./cloudera-manager-installer.bin
执行:
./cloudera-manager-installer.bin
安装时会提示一个/etc/cloudera-scm-server/db.properties文件存在,找到对应的路径修改文件名为db.properties.bak(做备份),再次执行即可。
可以用这个命令查看server的启动过程:
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
出现这个说明启动成功:
Started Jetty server
14、安装cloudera-manager-installer.bin完成后,访问
用户/密码:
admin/admin
到此为止,安装CDH5暂时结束,在后面还要进行配置,相关笔记以后补充。
PS
给数据库赋权限:
create database hue DEFAULT CHARACTER SET utf8;
grant all on hue.* TO 'root'@'%' IDENTIFIED BY 'root';
flush privileges;
create database hive DEFAULT CHARACTER SET utf8;
grant all on hive.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
flush privileges;
create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'root'@'%' IDENTIFIED BY 'root';
flush privileges;
修改数据库密码
use mysql;
update user set password=password('root') where user='root';
flush privileges;
将nysql的数据库驱动放到
/usr/share/java