Hadoop的部署与Minio区别

我们都知道，Hadoop是一个由Apache基金会所开发的基于分布式系统基础架构。使用用户可以在不了解分布式底层细节的情况下，进行分布式程序开发。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），不但包括分部署文件系统，而且还包括MapReduce计算，其中一个组件是HDFS。

一.Hadoop部署

以下以三台服务器节点为例，叙述hadoop集群的部署过程，它们分别如下：
192.168.0.1 #作为主节点
192.168.0.2
192.168.0.3
本次部署，使用appuser用户登录，将hadoop-3.2.1.tar.gz压缩文件解压到当前目录，最终文件存储目录为/appuser/hadoop-3.2.1，待配置完成后分别分发到其他相同目录的节点。

1. 文件配置准备

1.0 创建文件夹

进入到hadoop-3.2.1目录下分别创建文件夹；

 hadoop-3.2.1/hdfs
 hadoop-3.2.1/hdfs/name  #命名节点目录
 hadoop-3.2.1/hdfs/tmp   #临时文件目录
 hadoop-3.2.1/hdfs/data  #数据存储目录

1.1 配置hadoop-env.sh

cd /appuser/hadoop-3.2.1/etc/hadoop到目录，配置文件内容如下：

export JAVA_HOME=/usr/java/jdk1.8.0_151

1.2 配置workers

cd /appuser/hadoop-3.2.1/etc/hadoop到目录，配置另外两个节点为Slave worker节点

192.168.0.2
192.168.0.3

1.3 配置core-site.xml文件

cd /appuser/hadoop-3.2.1/etc/hadoop到目录，配置文件内容如下。注意在服务重启时，可能会出现失败，此时需要检查/appuser/hadoop-3.2.1/hdfs/tmp目录下的VERSION文件，确保每个节点VERSION版本相同，如果不同，统一用其中一个节点内容替代。

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://192.168.0.1:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir<name>
		<value>file:/appuser/hadoop-3.2.1/hdfs/tmp</value>
		<description>临时目录</description>
	</property>
	<property>
		<name>io.file.buffer.size</name>
		<value>131072</value>
	</property>
</configuration>

1.4 配置yarn-site.xml文件

cd /appuser/hadoop-3.2.1/etc/hadoop到目录，配置文件内容如下：

<configuration>

<!-- Site specific YARN configuration properties -->
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>192.168.0.1:18040</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>192.168.0.1:18030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>192.168.0.1:18088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>192.168.0.1:18025</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>192.168.0.1:18141</value>
	</property>
	<property>
		<name>yarn.resourcemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
		<description>服务Shuffle</description>
	</property>	
	<property>
		<name>yarn.resourcemanager.auxservices.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
		<description>Shuffle处理类</description>
	</property>	
	<property>
		<name>yarn.resourcemanager.am.max-attempts</name>
		<value>4</value>
		<description>最大重试次数</description>
	</property>	
	<property>
		<name>yarn.resourcemanager.vmem-check-enabled</name>
		<value>false</value>
		<description>关闭虚拟内存检查,防提示内存不够用</description>
	</property>	
</configuration>

1.5 配置hdfs-site.xml文件

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
		<description>分片数(slaves数)</description>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/appuser/hadoop-3.2.1/hdfs/name</value>
		<final>true</final>
	</property>
	<property>
		<name>dfs.namenode.data.dir</name>
		<value>file:/appuser/hadoop-3.2.1/hdfs/data</value>
		<final>true</final>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>192.168.0.1:9001</value>
		<description>http Web访问地址</description>
	</property>
	<property>
		<name>dfs.webhdfs.enable</name>
		<value>true</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>	
</configuration>

1.6 配置mapred-site.xml文件

cd /appuser/hadoop-3.2.1/etc/hadoop到目录，配置文件内容如下：

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

2. 启动前格式化

首次配置完成后一定要进行格式化，不需要删除/appuser/hadoop-3.2.1/hdfs/name和/appuser/hadoop-3.2.1/hdfs/data，进入bin目录执行脚本：

./hdfs namenode -format
./hdfs datanode -format

倘若后续服务出现异常或者需要重启服务时，出现了需要格式化提示，请先停止所有节点./sbin/stop-all.sh，删除/appuser/hadoop-3.2.1/hdf/tmp临时文件，然后再执行格式化操作。

3.启动

执行命令./sbin/start-all.sh

4.检查

浏览器登录web访问地址，检查服务是否正常：

http://192.168.0.1:18088                              #查看yarn集群
http://192.168.0.1:50070/dfshealth.html#tab-overview  #查看hdfs
http://192.168.0.1:19888/jobhistory                   #查看历史完成的任务

二.Hadoop和Minio区别

官方文档介绍MinIO是唯一一个具有性能和规模的对象存储平台，它可以介入并取代传统的、但对任务至关重要的Hadoop HDFS部署。从Minio官网对两者之间的比较我们可以得知，Hadoop是为MapReduce计算而设计的，Minio仅提供HDFS服务，更适合基于容器云，它使用也比Hadoop简单得多。


有关Minio的部署，如果感兴趣的话，可查看另一篇《Minio+ImgProxy商城图片一站式处理》文章。