ARM平台搭建Hadoop 3.3.0 集群

 

2020年6月的苹果WWDC大会上，苹果正式公布了基于ARM架构的自研Mac芯片计划，使用ARM芯片的Mac不久就将与大家见面；而早在2019年Q1，华为已经发布了用于数据中心的ARM架构处理器鲲鹏920，并在华为云上上线相应的资源，性价比大幅领先同级X86产品；AWS也在随后发布了自研的基于ARM架构的Graviton2芯片并同时提供了相应的虚拟机资源。可以看到，在通用处理器市场，由于性价比方面的巨大优势，已经有越来越多的厂商开始转向ARM架构。 

有了硬件之后，有多少软件能够平稳的运行在这些硬件平台上，就成了用户们最关心的问题。开源软件作为影响整个行业的风向标，领域中最主流的开源软件能否在硬件平台上跑起来、跑得好对硬件平台在该领域的生态发展起到决定性的作用。因此国内(华为、麒麟等)外(ARM、Linaro等)各公司的开发者在从底层的基础库、加速库到IAAS、PAAS平台，再到大数据、数据库等业务软件的各主流开源社区进行大力投入，目前也以及取得了一些关键成果。

大数据作为目前最主要的业务领域之一，对数据中心硬件的软件生态发展有着重要意义，因此也吸引了众多开发者的重点关注。Hadoop作为开源大数据领域的最核心项目，也成为了各公司重点投入的方向。经过半年的开发和推动，2020年7月14日，Hadoop发布了3.3.0版本，除了众多新功能之外，在其release note中（https://hadoop.apache.org/docs/r3.3.0/index.html）最显著位置还声明了该版本是Hadoop发布的首个官方支持ARM架构的版本。

本文将记录实际安装步骤以及过程中发现的问题，安装完成后将运行几个常见的任务，验证功能性。

 

1. 下载

Hadoop 3.3.0版本发布后，在项目的下载页面（https://hadoop.apache.org/releases.html）增加了相应的连接，用户可以非常方便的进行下载：

我们的机器为ARM架构的鲲鹏920 CPU，因此下载binary-aarch64软件包：

P.S. util-linux需要升级到最新版本才lscpu功能才能够正常解析CPU具体信息，否则以编码形式呈现