关闭

Ambari 2.1安装HDP2.3.2 之 六、安装部署HDP集群 详细步骤

标签: ambariHDP部署集群
8801人阅读 评论(3) 收藏 举报
分类:

六、安装部署HDP集群

浏览器访问 http://master:8080,进入amabri登录页面,用户名:admin,密码: admin

这里写图片描述

选择 Launch Install Wizard:
这里写图片描述

1. Get started

给集群起个名字,这里是 BigData:

这里写图片描述

2. Select stack

选择 hdp2.3, 将除redhat6 以外的复选框去掉勾。 并且将hdp以及hdp-utiles的baseurl 替换掉默认的值。

这里写图片描述
这里写图片描述

3. Install options

写入三台机器的GQDN,并选择第一项provide SSHPrivate Key ,浏览私钥文件id_rsa.pub,这样部署集群时会在slave1和slave2上安装ambari-agent。如图6.3.1。如果提前安装了amabri-agent可以选第二项。
这里写图片描述

提前手动安装ambari-agent

#yum install ambari-agent
#vi /etc/ambari-agent/conf/ambari-agent.ini
[server]
hostname=<your.ambari.server.hostname>
url_port=8440
secured_url_port=8441
#ambari-agent start

在三台机器执行上述代码,其中 < your.ambari.server.hostname> ,根据每台机器的hostname来填即可。
点击下一步。

4.Confirm hosts

这里写图片描述
图6.4.1

这里写图片描述
图6.4.2

这里写图片描述
图6.4.3

如图6.4.2 ,有警告信息,点开查看如图6.4.3,提示 关闭 THP,

# vi /etc/grub.conf

加入transparent_hugepage=never,,

title CentOS (2.6.32-431.17.1.el6.x86_64)
        root (hd0,0)
        kernel /vmlinuz-2.6.32-431.17.1.el6.x86_64 root=/dev/mapper/VolGroup-lv_root ro rd_NO_LUKS rd_NO_MD rd_LVM_LV=VolGroup/lv_swap LANG=zh_CN.UTF-8 rd_LVM_LV=VolGroup/lv_root transparent_hugepage=never KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet
        initrd /initramfs-2.6.32-431.17.1.el6.x86_64.img

继续,如图6.4.5可以看到没有错误了。
这里写图片描述
图6.4.5

这里写图片描述

5.Choose service

服务可根据需要自行选择。

这里写图片描述

这里写图片描述

6.Assign masters

根据负载均衡的原则,将要安装的服务分配到各台机器。本集群的组件分配见表2.2.2。提示:各个组件的Master可都安在master机器上。

这里写图片描述

7.Assign slaves and clients

可根据需要在master、slave1、slave2上安装组件,这里我们选择三台机器上均安装客户端client。

这里写图片描述

这里写图片描述

8.Custom services

看一下各项的参数配置,最后看hive。 主要看内存配置,例如 java heap size 等,根据机器总内存大小来分配,本集群是将内存设成默认值的一半。这些参数待集群建好后都是可以再调整的。

这里写图片描述

看完其他项,接着该 验证hive 了。
Mysql是安在master上,如图6.8.2填写数据库所在机器的域名,将第五部分提前为hive建立的数据库信息填入下表,点击测试连接。

这里写图片描述

点击Next:有提示,不用管,是因为我们将Java heap size value调小了。
这里写图片描述

继续往下,确认集群的各项:

这里写图片描述

这里写图片描述

这里写图片描述

选择deploy,接下来是确认部署信息、启动以及测试了。

这里写图片描述

这里写图片描述

这里写图片描述

Error:可能会出错,截取部分出错信息:

Error
Flume:
resource_management.core.exceptions.Fail: Execution of '/usr/bin/yum -d 0 -e 0 -y install 'flume_2_3_*'' returned 1. Error: Package: hadoop_2_3_2_0_2950-2.7.1.2.3.2.0-2950.el6.x86_64 (HDP-2.3)
           Requires: nc
 You could try using --skip-broken to work around the problem
** Found 3 pre-existing rpmdb problem(s), 'yum check' output follows:
2:postfix-2.6.6-6.el6_5.x86_64 has missing requires of libmysqlclient.so.16()(64bit)
2:postfix-2.6.6-6.el6_5.x86_64 has missing requires of  libmysqlclient.so.16(libmysqlclient_16)(64bit)
2:postfix-2.6.6-6.el6_5.x86_64 has missing requires of mysql-libs

解决:
提示缺少nc, 执行yum install nc
也有可能是超时,vi /etc/yum.conf,将 installonly_limit的值设成600
vi /var/lib/ambari-server/resources/stacks/HDP/2.3/repos/repoinfo.xml,bseurl 改一下。
retry几次,最后即使没有全部安好,也可先点Deploy部署集群,之后再把没有安成功的服务重新安装即可。
分别点开三台机器,如图可以查看在三台机器上哪些组件安好、哪些没安好。

这里写图片描述

这里写图片描述

这里写图片描述

七、启动服务

集群部署好以后,许多服务是关闭的,因此会有很多警告。
我们先将服务一项项的启动,发现警告也会一点点的消除。可能有些组件没有安成功,点击hosts,点开每台机器,会看到有些组件安装失败,点击再安装即可。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:116399次
    • 积分:945
    • 等级:
    • 排名:千里之外
    • 原创:17篇
    • 转载:0篇
    • 译文:4篇
    • 评论:48条
    文章分类
    最新评论