本章介绍如何在一个计算机集群上构建Hadoop系统。尽管在单机上运行HDFS、MapReduce和YARN有助于学习这些系统,但是要想执行一些有价值的工作,必须在多节点系统上运行。
有多个选择来获得一个Hadoop集群,从建立一个专属集群,到在租借的硬件设备上运行Hadoop系统,乃至于使用云端作为托管服务提供的Hadoop.被托管的选项数很多,这里就不逐一列举,但是即使你选择自己建立一个Hadoop集群,仍然会有很多安装选项要考虑。
Apache tarball
ApacheHadoop项目及相关的項目为每次发布提供了二进制(和源)压缩包(tarball).用二进制压缩包安装最灵活,但工作量也最大,这是由于需要确定安装文件、配置文件和日志文件在文件系统中的位置、正确设置文件访问杖限等等。
Packages
从ApacheBigtop项目及所有Hadoop供应商那里都可以获取RPM和Debian包·这些包比压缩包有更多的优点,它们提供了一个一致性
的文件系统布局,可以作为一个整体进行测试哒样可以知道Hadoop和Hive的多个版本能够在一起运行),并且它们可以和配置管理工具如Puppet一起运行。
Hadoop群管理工具
有一些工具用于Hadoop集群全生命期的安装和管理,ClouderaManager和ApacheAmbari就是这样的专用工具。它们提供了简单的WebUI,并且被推荐给大多数用户和操作者用以构建Hadoop集群·这些工具集成了Hadoop运行有关的操作知识。例如,它们基于硬件特点使用启发式方法来选择好的默认值用于Hadoop配置设置。对于更复杂的构建,例如HA,或安全Hadoop,这些管理工具提供了经过测试的向导,能够帮助在短时间内建立一个能够工作的集群。最后,它们增加了额外的、其他安装选项没有提供的特性,例如统一监控和日志搜索,滚动升级(升级集群时不用经历停机)。
本章和下一章提供了足够的信息来构建和操作基础的Hadoop集群。然而,即使有些读者可能正在使用Hadoop集群管理工具或Hadoop服务,这些工具和服务帮助完成了大量常规的构建和维护工作,对于这些读者,阅读这两章内容仍然有助于从操作的角度深人理解Hadoop的工作机制。