基于飞腾平台的Hadoop的安装配置

【写在前面】 飞腾开发者平台是基于飞腾自身强大的技术基础和开放能力，聚合行业内优秀资源而打造的。该平台覆盖了操作系统、算法、数据库、安全、平台工具、虚拟化、存储、网络、固件等多个前沿技术领域，包含了应用使能套件、软件仓库、软件支持、软件适配认证四大板块，旨在共享尖端技术，为开发者提供一个涵盖多领域的开发平台和工具套件。 点击这里开始你的技术升级之旅吧

​​​

本文分享至飞腾开发者平台《飞腾平台Hadoop-3.2.2安装配置手册》

1 介绍

  Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

  HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。HDFS解决了超大数据存储问题。

  MapReduce是一个计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobTracker）对任务进行分布式计算。

Hadoop的优点：

  1）支持超大文件。HDFS存储的文件可以支持TB和PB级别的数据。

  2）检测和快速应对硬件故障。数据备份机制，NameNode通过心跳机制来检测DataNode是否还存在。

  3）高扩展性。可建构在廉价机上，实现线性（横向）扩展，当集群增加新节点之后，NameNode也可以感知，将数据分发和备份到相应的节点上。

  4）成熟的生态圈。借助开源的力量，围绕Hadoop衍生的一些小工具。

  Hadoop的缺点：

  1）不能做到低延迟。高数据吞吐量做了优化，牺牲了获取数据的延迟。

  2）不适合大量的小文件存储。

  3）文件修改效率低。HDFS适合一次写入，多次读取的场景。

2 环境要求

2.1 硬件要求

  硬件要求如下表所示。

项目	说明
CPU	FT-2000+/64服务器
网络	无要求
存储	无要求
内存	无要求

2.2 操作系统要求

  操作系统要求如下表所示。

项目	说明
CentOS	8
Kernel	4.18.0-193.el8.aarch64

2.3 软件环境要求

  软件环境要求如下表所示。

项目	说明
JDK	11.0.11
Maven	3.3.9
Protpbuf	2.6.1

3 安装与配置步骤

3.1 基本环境

  在部署Hadoop前确保主机上有对应的JAVA环境，本文档使用的JDK版本是11.0.11