Ambari在线部署hdp

2019独角兽企业重金招聘Python工程师标准>>>

1 集群配置

1.1 集群组成

本次部署总共有4个节点，如下所示：

主机ip	主机名	操作系统	Cpu （每个2核）	内存	作用
192.168.1.70	h70.hdp.ap	Centos6.5	1个	4g	部署ambari
192.168.1.71	h71.hdp.ap	Centos6.5	2个	3g	hdp部署节点1
192.168.1.72	h72.hdp.ap	Centos6.5	2个	3g	hdp部署节点2
192.168.1.73	h73.hdp.ap	Centos6.5	2个	4g	hdp部署节点3

    按照上述表中的主机名在对应的机器上修改它们的hostname，方法如下所示：

    在/etc/sysconfig/network中修改hostname项，修改完后重启生效，/etc/sysconfig/network内容如下所示：

    然后修改机器的/etc/hosts文件，将每个机器的hostname和ip对应起来，将修改后的/etc/hosts文件复制到集群中的每台机器，操作如下所示：

1.2 配置ssh无密码登录

    因为在ambari和hdp部署过程中，ambari和hdp部署的节点都有可能互相访问，所以建议四个节点中的每个节点之间都可以ssh无密码登录，包括它们自己登录到自己。

    在每一台机器上执行如下操作，首先查看该用户根目录下的.ssh文件夹中是否有id_rsa文件，如果没有执行ssh-keygen命令，一路回车，然后查看生成的文件，为了避免之后的麻烦，建议将该目录下所有文件的权限修改成600，本文档部署在h71机器上的操作如下所示，其他机器类似：

    为了实现A节点无密码登录到B节点，需要将A节点的.ssh/id_rsa.pub文件内容添加到B节点的.ssh/authorized_keys文件中，下面给出了h72节点无密码登录到h70节点的方法，用类似的方法实现他们之间任意两个节点的无密码登录。

    首先将h72节点的.ssh/id_rsa.pub文件拷贝到h70节点上，注意不要放到.ssh文件夹中，这样会覆盖h70节点上的.ssh/id_rsa.pub文件，操作如下所示：

    首先将拷贝到h70节点上的id_rsa.pub文件内容添加到.ssh/authorized_keys文件中，操作如下所示：

 

    至此完成了h72节点无密码登录h70节点，测试如下：

 

    接下来用类似的方法实现他们之间任意两个节点的无密码登录。

1.1 配置ntp服务

    因为hdp中有服务需要集群的时间同步，所以集群中的每一个机器需要安装启动ntp服务保证集群时间的一致，安装启动如下所示：

    在集群中的每台机器完成上述操作。

1.4 关闭防火墙服务

    因为集群中的线程之间需要互相通信，所以需要合理配置防火墙，最简单的方式是直接关闭防火墙。操作如下所示：

 

1.5 配置selinux和umask

    为了避免引起不必要的麻烦，关闭集群节点上的selinux服务，然后重启，操作如下所示：

 

    如果机器安装了PackageKit，在/etc/yum/pluginconf.d/refresh-packagekit.conf中将其关闭，操作如下：

 

    确保集群中节点的umask值为022，操作如下：

 

2 准备部署软件

2.1 Jdk下载安装部署

    如果机器没有java环境，在安装ambari和hdp过程中，yum会自动从网上下载jdk-7u45-linux-x64.tar.gz，如果网速很快的话，可以在线获取。本文档部署手动下载java包，用的是/jdk-7u67-linux-x64.tar.gz，下载地址为http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-x64.tar.gz，下载完后，必须放在集群每个节点的相同目录，然后解压，操作过程如下图所示：

 

2.2 Ambari和HDP下载配置

    本文档部署所用的软件为：

    1. ambari-1.6.1-centos6.tar.tar，下载地址为http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.6.1-centos6.tar.gz；

    2. HDP-2.1.5.0-centos6-rpm.tar.tar，下载地址为http://public-repo-1.hortonworks.com/HDP/centos6/HDP-2.1.5.0-centos6-rpm.tar.gz；

    3. HDP-UTILS-1.1.0.17-centos6.tar.tar，下载地址为http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.17/repos/centos6/HDP-UTILS-1.1.0.17-centos6.tar.gz。手动下载所需的上述软件；

    将下载的ambari-1.6.1-centos6.tar.tar、HDP-2.1.5.0-centos6-rpm.tar.tar、HDP-UTILS-1.1.0.17-centos6.tar.tar软件放到部署ambari的机器的/var/www/html目录下（该机器必须先安装httpd服务，并且启动httpd服务），然后解压，操作如下所示：

    在改机器上添加/etc/yum.repo.d/ambari.repo文件，它的内容如下所示，其中的192.168.1.70的ip地址要换成部署ambari那台机器的ip：

 

    在改机器上添加/etc/yum.repo.d/hdp.repo文件，它的内容如下所示，其中的192.168.1.70的ip地址要换成部署ambari那台机器的ip：

 

    然后将配置好的/ambari.repo 和hdp.repo文件复制到集群中的其他节点，操作如下所示：

 

2.3 Ambari安装部署

    在安装ambari的机器上执行yum install ambari-server命令，操作如下所示:

 

    没有报错的话，ambari-server安装成功，接下来执行ambari-server setup  -j /usr/local/jdk1.7.0_67命令，启动-j后面的操作指定jdk安装的位置，操作如下：

 

    接下来用ambari-server start命令启动ambari-server，用ambari-server stop命令关闭ambari-server，用ambari-server status命令查看ambari-server的启动状态，操作如下：

 

2.4 HDP安装部署

    Ambari-server启动成功后，可以通过http://{your.ambari.server}:8080访问，用户名和密码都是admin，访问界面如下所示：

 

    用admin登录，出现如下界面，接下来可以安装hdp，首先命名集群，选择下一步，操作如下所示：

    然后选择安装的hdp的版本，本次部署用HDP2.1，所以选择HDP2.1，点开下面的“Advanced Repository Options”，选择操作系统对应的选项，本次部署选择redhat6，修改其中“HDP-2.1”和“HDP-UTILS-1.1.0.17”指向的地址，修改成/etc/yum.repos.d/hdp.repo中它们指向的地址，本次部署“HDP-2.1”指向“http://192.168.1.70/HDP/centos6/2.x/updates/2.1.5.0”，“HDP-UTILS-1.1.0.17”指向“http://192.168.1.70/HDP-UTILS-1.1.0.17/repos/centos6”，然后点击下一步：

    然后在“Target Hosts”方框中填写部署hdp的集群，本次部署填写如下；还需要指定部署ambari机器的“SSH Private Key”，点击“选择文件”按钮，找到部署ambari机器上的“~/.ssh/id_rsa”文件，或者将该文件的内容复制到对应的方框中，然后点击“Register and Confirm”按钮：

    接下来会进行集群的注册和验证，出现下述画面代表成功，可以点击“Status”栏中的“Success”或者“Failed”查看日志，如下图所示：

    日志显示如下图所示：

 

    接下来下一步，显示“选择服务”界面，默认是全选，可以根据自己机器的配置和需要选择服务，本次部署全部选择，如下图所示：

 

    然后点击下一步，接下来显示的是“指定主节点”的界面，这个根据实际情况在下拉菜单中选择，尽可能均匀分配，如下图所示：

    然后点击下一步，接下来显示的是“指定从节点和客户端”的界面，这个根据实际情况选择服务，尽可能均匀分配，如下图所示：

 

    然后点击下一步，接下来显示的是“配置服务选项”的界面，这个根据机器性能配置，如下图所示：

 

    其中旁边显示红色小圆圈带数字的表示此项服务中的某些项必须配置，其中的“Hive”、“Oozie”和“Nagios”项中需要设置密码和email，点开进行配置，操作如下：

 

    然后点击下一步，接下来显示的是“复查”界面，显示了集群配置服务的情况，没有问题，点击“部署”按钮，如下图所示：

 

    接下来进入“安装、启动、测试”界面，如下图所示：

    在“安装、启动、测试”过程中，随时可以点击“Message”栏中的项查看日志，日志显示了部署的进展情况，如下图所示：

 

    下图截取了几张部署过程中的图，仅供参考：

    出现下面画面表示“安装、启动、测试”成功：

   然后点击下一步，显示的是“部署情况”界面，如下图所示：

 

    然后点击“完成”按钮，进入ambari管理界面，如下图所示：

 

3 部署注意事项

3.1 重启注意检查防火墙

    每次机器重启后，检查下防火墙的状态，如果防火墙开着，一定要执行关闭命令，操作如下：

 

3.2 更新openssl

    Centos6.5自带的openssl-1.0.1e-15.el6_5.x86_64在部署过程中会出现“error:100AE081:elliptic curve routines: EC_GROUP_new_by_curve_name: unknown group”的错误，更新openssl即可，操作如下所示：

 

    操作成功后查看openssl的版本更新了，如下图所示：

 

    也有很多问题是由这个openssl版本不兼容引起的，如下图在“Register and Confirm”步骤中出现问题，也与这个问题有关，建议更新下：

转载于:https://my.oschina.net/u/1169607/blog/333406