20200922 -
0. 引言
几年前为了处理大量的日志,简单学习了hadoop的内容,之后就在自己的几台破PC上进行了实验,当时安装的方式步骤大致如下:
- 利用expect脚本完成免密登陆
- 利用clush进行集群管理,比如传输文件,或者文件及命令更新
之前还想过利用docker的形式来部署,但是好像是存在一些问题的,并不是那么简单,虽然我当时部署一个单机的成功了。不过,现在想想,这种基础服务,最好还是直接逻辑部署比较好。
今天在看zeppelin的时候,发现了另外的一个工具ambari,可以自动完成Hadoop,更准确写,是一整套大数据生态的部署自动化。
1. 自动化部署过程
关于ambari具体的部署过程呢,这里不再赘述,可以参考文章[1],我大致看了看文章[1],基本上了解了过程,跟我想象中是一样的。这里说一下我的疑问,如果是直接联网利用yum什么东西下载的化,必然会导致网速很慢,部署部署起来很慢,那么是不是有离线安装的方式呢?文章[2]就是解决这个问题。
通过搭建内网yum源,然后在ambari部署某个工具的时候,选中本地源就好了。
2. 集群的管理
我看了一下ambari的GUI界面,没有进行具体的内容查看,但是在[1]的部署过程中,提到了对一些参数的设置,那么也就是说,其实是可以通过ambari进行参数调整的。这个是很方便的一个事情,因为有了这个过程,就不用向我之前的步骤一样,还得通过clush进行文件传输,然后重启全部的jps服务了。
参考
[1]【大数据----Ambari】大数据平台的搭建利器
[2]Ambari2.6.0 安装HDP2.6.3(离线安装)