CDH集群安装部署

1   引言

1.1  概述

         本文档帮助开发人员安装Cloudera的CM、CDH集群。

1.2  缩略语和定义

缩略语	全称	描述
CDH	Cloudera Data Platform	Cloudera Hadoop Cluster
OS	Operating System	操作系统
Browser	浏览器
JDK	Java Development Kit	Java软件开发工具包

1.3  参考资料

l  http://www.cnblogs.com/jasondan/p/4011153.html

l  cloudera-installation.pdf

2   任务描述

3   准备工作

3.1  系统要求

3.1.1  操作系统

l  CentOS-v6.7-x64

3.1.2  浏览器

3.1.2.1 Windows (7, 8)

l  Internet Explorer 10

l  Google Chrome 58（推荐）

l  Firefox 54

软件工具

l  yum

l  rpm

l  scp, curl, unzip, tar, wget

l  OpenSSL

l  Python：CentOS 6使用 Python 2.6.*

l   JDK(每台节点)

         本次安装的是JDK 1.8.0_131。

3.2  准备环境

3.2.1       将用户加入sudo配置文件(使用root用户跳过此步骤)

l  切换到root用户，运行visudo

l  在打开的配置文件中，找到root ALL=(ALL)ALL，在下面添加一行

xxx ALL=(ALL) ALL 其中xxx是你要加入的用户名称

l  输入:wq保存并退出配置文件，再次使用sudo命令就不会有上面的提示了

3.2.2       Check the Maximum Open File Descriptors（每台节点）

l  切换到root用户

l  查看

ulimit -Sn

ulimit -Hn

l  修改

如果上述命令的输出小于10000，则运行ulimit -n10000命令修改

3.2.3       修改hostname（每台节点）

l  如果不是root用户，则需要在命令前加sudo

l  sudo vi/etc/sysconfig/network

         NETWORKING=yes

         HOSTNAME=node1.domain --修改成自己设置的hostname

l  sudo service networkrestart

3.2.4       配置hosts文件（每台节点）

l  如果不是root用户，则需要在命令前加sudo

l  sudo vi /etc/hosts

l  增加以下内容，IP和hostname以实际服务器为准

                   192.168.72.174 node1.domainnode1

l  重启服务器生效

3.2.5       安装NTP（每台节点）

l  sudo yum install -yntp

l  sudo yum install -yntpdate

l  chkconfig --listntpd -检查ntp状态

l  sudo chkconfig ntpdon --配置ntp自启动

l  sudo service ntpdstart --启动ntp服务

l  再次检查ntp状态，会发现已经变成on

3.2.6       配置防火墙（每台节点）

l   临时关闭，重启失效

         sudoservice iptables stop

l  永久关闭，需重启服务器

         sudochkconfig iptables off

l  永久关闭，需重启服务器

         sudo/etc/init.d/iptables stop

3.2.7       配置SSH无密码登陆（每台节点）

l  ssh-keygen -t rsa  --会有提示，都按回车就可以

l  cat/root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys  --加入授权

l  cat/root/.ssh/authorized_keys --将各节点id_rsa.pub中的秘钥汇总到一个authorized_keys文件，将该文件复制到各个节点

l  chmod 700 /root/.ssh

l  chmod 600/root/.ssh/authorized_keys

3.2.8       安装JDK（每台节点）

l  查看已安装的JDK

         rpm-qa | grep java

l  卸载已安装的JDK

         rpm-e --nodeps java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64

         rpm -e --nodepsjava-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64

         rpm -e --nodepstzdata-java-2015e-1.el6.noarch

l  cd /opt

l  复制jdk tar包（例如：jdk-8u131-linux-x64.tar.gz）到 /opt

l  解压jdk tar到/opt

l  重命名为jdk

l  cd /usr

l  sudo mkdir java

l  sudo ln -s /opt/jdk/usr/java/default --创建软连接

l  sudo vi /etc/profile

        在文件末尾加入如下内容：

         export JAVA_HOME=/opt/jdk

         export PATH=$JAVA_HOME/bin:$PATH

         exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar

l  source/etc/profile

l  可以通过scp -r /opt/jdk root@node2:/opt/ --将本地目录发送到远程目录