1 引言
1.1 概述
本文档帮助开发人员安装Cloudera的CM、CDH集群。
1.2 缩略语和定义
缩略语 |
全称 |
描述 |
CDH |
Cloudera Data Platform |
Cloudera Hadoop Cluster |
OS |
Operating System |
操作系统 |
Browser |
浏览器 |
|
JDK |
Java Development Kit |
Java软件开发工具包 |
1.3 参考资料
l http://www.cnblogs.com/jasondan/p/4011153.html
l cloudera-installation.pdf
2 任务描述
3 准备工作
3.1 系统要求
3.1.1 操作系统
l CentOS-v6.7-x64
3.1.2 浏览器
3.1.2.1 Windows (7, 8)
l Internet Explorer 10
l Google Chrome 58(推荐)
l Firefox 54
软件工具
l yum
l rpm
l scp, curl, unzip, tar, wget
l OpenSSL
l Python:CentOS 6使用 Python 2.6.*
l JDK(每台节点)
本次安装的是JDK 1.8.0_131。
3.2 准备环境
3.2.1 将用户加入sudo配置文件(使用root用户跳过此步骤)
l 切换到root用户,运行visudo
l 在打开的配置文件中,找到root ALL=(ALL)ALL,在下面添加一行
xxx ALL=(ALL) ALL 其中xxx是你要加入的用户名称
l 输入:wq保存并退出配置文件,再次使用sudo命令就不会有上面的提示了
3.2.2 Check the Maximum Open File Descriptors(每台节点)
l 切换到root用户
l 查看
ulimit -Sn
ulimit -Hn
l 修改
如果上述命令的输出小于10000,则运行ulimit -n10000命令修改
3.2.3 修改hostname(每台节点)
l 如果不是root用户,则需要在命令前加sudo
l sudo vi/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node1.domain --修改成自己设置的hostname
l sudo service networkrestart
3.2.4 配置hosts文件(每台节点)
l 如果不是root用户,则需要在命令前加sudo
l sudo vi /etc/hosts
l 增加以下内容,IP和hostname以实际服务器为准
192.168.72.174 node1.domainnode1
l 重启服务器生效
3.2.5 安装NTP(每台节点)
l sudo yum install -yntp
l sudo yum install -yntpdate
l chkconfig --listntpd -检查ntp状态
l sudo chkconfig ntpdon --配置ntp自启动
l sudo service ntpdstart --启动ntp服务
l 再次检查ntp状态,会发现已经变成on
3.2.6 配置防火墙(每台节点)
l 临时关闭,重启失效
sudoservice iptables stop
l 永久关闭,需重启服务器
sudochkconfig iptables off
l 永久关闭,需重启服务器
sudo/etc/init.d/iptables stop
3.2.7 配置SSH无密码登陆(每台节点)
l ssh-keygen -t rsa --会有提示,都按回车就可以
l cat/root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys --加入授权
l cat/root/.ssh/authorized_keys --将各节点id_rsa.pub中的秘钥汇总到一个authorized_keys文件,将该文件复制到各个节点
l chmod 700 /root/.ssh
l chmod 600/root/.ssh/authorized_keys
3.2.8 安装JDK(每台节点)
l 查看已安装的JDK
rpm-qa | grep java
l 卸载已安装的JDK
rpm-e --nodeps java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64
rpm -e --nodepsjava-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64
rpm -e --nodepstzdata-java-2015e-1.el6.noarch
l cd /opt
l 复制jdk tar包(例如:jdk-8u131-linux-x64.tar.gz)到 /opt
l 解压jdk tar到/opt
l 重命名为jdk
l cd /usr
l sudo mkdir java
l sudo ln -s /opt/jdk/usr/java/default --创建软连接
l sudo vi /etc/profile
export JAVA_HOME=/opt/jdk
export PATH=$JAVA_HOME/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
l source/etc/profile
l 可以通过scp -r /opt/jdk root@node2:/opt/ --将本地目录发送到远程目录