关于CDH和ClouderaManager
CDH (Cloudera's Distribution,including Apache Hadoop),是hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的ApacheHadoop构建,并集成了很多补丁,可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
Ubuntu安装cdh集群:启动server节点出错,可以查看/opt/cloudera-manager/cm-5.6.0/log
里的日志,或者/var/log/cloudera-scm-server/下面的日志。
安装步骤:
http://blog.csdn.net/blackkey2008/article/details/50763097
http://www.jianshu.com/p/57179e03795f
http://wiki.ubuntu.org.cn/%E5%88%A9%E7%94%A8Cloudera%E5%AE%9E%E7%8E%B0Hadoop
卸载oracle-j2sdk1.7方法
查看 dpkg --list | grep -i jdk
sudo apt-get remove oracle-j2sdk1.6
或者sudo apt-get remove oracle-*
安装主节点master:
1. 修改文件sudo vi/etc/network/interfaces,将默认生成的
auto eth0
iface eth0 inet dhcp
改为:
2. 重启网卡,使配置生效:
sudo service networking restart
3. 运行ifconfig -a查看网络配置信息。
4. 通过ping -c2 www.baidu.com测试能否正常访问外网。若不能,可sudo reboot重启节点试试。
5. 配置完成后,可在其他主机,通过Xshell连接master节点。
6. 关闭防火墙
sudo ufw disable
配置hosts文件
以master
节点为例 要求所有的节点主机之间都是通过host互信的,编辑所有节点主机的/etc/hosts
文件,配置完成后在每台主机上ping通其他主机名。
注:slave
节点配置方法类似
配置ubuntu的更新源
①备份源列表
1. sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup
②选择一个更新源,修改配置文件sudo vi /etc/apt/sources.list
,添加新的源,国内推荐使用阿里源:
1. deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
2. deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
3. deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
4. deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
5. deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
6. deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
7. deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
8. deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
9. deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
10.deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
更新系统
①更新系统
1. sudo apt update
2. sudo apt upgrade
3. sudo apt dist-upgrade
4. sudo apt autoremove
jdk的安装 apt-get-o Dpkg::Options::=--force-confdef -o Dpkg::Options::=--force-confold -yinstall oracle-j2sdk1.6
参考:http://blog.csdn.net/u012348345/article/details/51451455
172.18.25.5和159.226.178.106做的改动:安装ntp 修改了配置文件/etc/ntp.conf 修改 server Ubuntubp-001