ambari自动化Hadoop部署

20200922 -

0. 引言

几年前为了处理大量的日志，简单学习了hadoop的内容，之后就在自己的几台破PC上进行了实验，当时安装的方式步骤大致如下：

• 利用expect脚本完成免密登陆
• 利用clush进行集群管理，比如传输文件，或者文件及命令更新

之前还想过利用docker的形式来部署，但是好像是存在一些问题的，并不是那么简单，虽然我当时部署一个单机的成功了。不过，现在想想，这种基础服务，最好还是直接逻辑部署比较好。
今天在看zeppelin的时候，发现了另外的一个工具ambari，可以自动完成Hadoop，更准确写，是一整套大数据生态的部署自动化。

1. 自动化部署过程

关于ambari具体的部署过程呢，这里不再赘述，可以参考文章[1]，我大致看了看文章[1]，基本上了解了过程，跟我想象中是一样的。这里说一下我的疑问，如果是直接联网利用yum什么东西下载的化，必然会导致网速很慢，部署部署起来很慢，那么是不是有离线安装的方式呢？文章[2]就是解决这个问题。
通过搭建内网yum源，然后在ambari部署某个工具的时候，选中本地源就好了。

2. 集群的管理

我看了一下ambari的GUI界面，没有进行具体的内容查看，但是在[1]的部署过程中，提到了对一些参数的设置，那么也就是说，其实是可以通过ambari进行参数调整的。这个是很方便的一个事情，因为有了这个过程，就不用向我之前的步骤一样，还得通过clush进行文件传输，然后重启全部的jps服务了。

参考

[1]【大数据----Ambari】大数据平台的搭建利器
[2]Ambari2.6.0 安装HDP2.6.3（离线安装）