Hadoop自动安装脚本

Hadoop自动安装脚本

前言

最近在学习大数据的相关知识，对于 Hadoop的安装这一块，身边不少同学安装都存在许多问题，不行安装 SSH啦、不会配置环境变量啦之类的，网上的教程五花八门，大家配置的过程总是出现问题。

我也耐心地一个一个地帮忙，但是 Hadoop的配置过程本就繁琐，一个同学的配置往往要花掉几个小时才能弄好，三四个同学一帮，我一天的时间就没了。

我觉得这样做不是办法，于是萌生了用自动化工具的想法，去开发一个 Shell脚本。只要同学们去镜像站下载好 Hadoop，直接运行脚本文件，就可以实现一键配置，我只需要教大家脚本的使用技巧就行了，这大大节省了时间。

说干就干，在网上查阅 Linux Shell脚本的编写方法，翻阅了很多资料，历经千辛万苦，de了无数的 bug，花了整整一天时间，终于将脚本编写完毕。

脚本说明

因为我自己使用的是 Ubuntu系统，所以就针对 Ubuntu系统编写了这个脚本，目前还没有对其他系统做适配。脚本的地址在我的码云仓库里 Hadoop自动安装脚本

当前，这个脚本的运行也是需要前提条件的，这些我都在网站上做了说明，脚本运行时也会进行提示：

• 本脚本仅适用于 Ubuntu 系统，目前尚未对其他系统做适配
• 当前用户必须有足够的权限，例如管理员权限
• 系统已经安装了JDK，并配置了环境变量
• Hadoop安装文件与脚本必须都在 home 目录下
• 保证系统处于联网状态

目前运行脚本时需要注意的就是有两次 ssh登录，所以需要有两次 exit退出（这些都在脚本里写有提示）。脚本运行完毕后，配置就完成了，自己手动初始化 HDFS，就可以开始使用 Hadoop了。

关于脚本运行之前可能会出的几个问题，我都在 ReadMe中进行了说明，仓库里还有一个脚本使用说明的 pdf文件，两者大同小异，都是解决脚本在正常运行之前可能遇到的问题。

关于默认设置，脚本运行的默认路径是用户的 home目录下，解压安装出的 Hadoop文件也是在 home目录下。脚本配置的是 Hadoop伪分布式模式，默认是 localhost。

脚本截图

两天时间，hadoop 的脚本我已经更新了六次了。基本上已经解决了同学们安装过程中反馈出的一些问题。目前脚本在 Ubuntu系统上已经可以很好地运行起来，没有什么问题了。

之后又如法炮制，编写了安装 HBase的脚本，同理也是默认 home目录，配置的伪分布式模式，localhost登录。

Hadoop脚本的运行截图

HBase脚本的运行截图

后记

强调一下，脚本配置虽然方便，但是为了方便你可能就什么也不懂了。虽然脚本好用，我还是建议大家要亲自去配置一遍 Hadoop，熟悉整个配置流程，遇到问题积极解决，这样才能锻炼你的能力。

掌握了 Hadoop的配置流程之后，那就可以优先使用脚本去配置了，毕竟原理都掌握了，使用脚本真的可以节约时间。

当然，这个脚本也还有很多可以被优化的地方，关于异常的处理还做得不够好。如果你能深入研究并对这个脚本进行优化，那就更好了。这样你不仅可以对 Hadoop的配置流程非常熟悉，还可以学到了编写 shell 脚本的一些经验。