Hadoop3.3.3单机版搭建

---

前言

单机版Hadoop安装，本次安装的Hadoop为，当前的最新版本Hadoop-3.3.3
正式安装请请先参考Hadoop基础环境安装

---

一、先配置SSH登录（若历史配置过则忽略）

1.进入目录 ~/.ssh 执行如下命令：

# 目录若不存在，则在任意目录下执行就可以
# 生成秘钥文件
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

# 将秘钥文件加入授权文件中
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2.查看当前目录

3.输入 ssh localhost 检查是否设置成功

二、安装Hadoop

1.下载Hadoop安装包

地址：https://hadoop.apache.org/releases.html
注意：这边下载的是Binary文件！！！

2.解压缩安装包

tar -zxvf hadoop-3.3.3.tar.gz

3.配置环境变量

进入目录，执行命令pwd，记住这个路径！！！

执行命令修改 /etc/profile文件

vim /etc/profile

# Hadoop Environment
# HADOOP_HOME内容为上一步pwd命令的路径信息
export HADOOP_HOME="/usr/local/hadoop/hadoop-3.3.3"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

配置后：

退出文件后执行命令，刷新配置文件

source /etc/profile

#执命令 查看安装结果
hadoop version

4.修改配置文件

进入目录：/usr/local/hadoop/hadoop-3.3.3/etc/hadoop/ （实际路径为安装Hadoop的路径下/etc/hadoop）。

1.修改配置文件 hadoop-env.sh

# 执行命令
vim hadoop-env.sh

# 增加配置
# JAVA_HOME 为你JDK的安装目录
export JAVA_HOME=java/jdk-11
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

配置后：

2. 修改配置文件 core-site.xml

# 执行命令
vim core-site.xml

# 增加配置
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9820</value>
	</property>

	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/hadoop/hadoopdata</value>
	</property>

配置后：

3.修改配置文件 hdfs-site.xml

# 执行命令
vim  hdfs-site.xml

# 增加配置文件
	<property>
		<name>dfs.replication</name>
		<value>1</value>
    </property>

配置后：

4.修改配置文件 mapred-site.xml

# 执行命令
vim  mapred-site.xml

# 增加配置信息
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

配置后：

5.修改配置文件 yarn-site.xml

# 执行命令
vim  yarn-site.xml

# 增加配置信息
	<property>
　　	<name>
　　		yarn.nodemanager.aux-services
　　	</name>
　　	<value>
　　		mapreduce_shuffle
　　	</value>
	</property>
	<property>
		<name>
			yarn.nodemanager.env-whitelist
		</name>
		<value>
			JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CL
			ASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
		</value>
	</property>

配置后：

5.设置目录权限

#执行命令 （后边的路径为,你实际安装Hadoop的路径）
chmod -R 777 /usr/local/hadoop/hadoop-3.3.3

6.格式化HDFS文件系统

# 进入该目录
cd /usr/local/hadoop/hadoop-3.3.3
# 格式化HDFS文件系统
bin/hdfs namenode -format

7.启动Hadoop

# 执行命令启动Hadoop
sbin/start-all.sh

启动后通过 jps 命令检查（出现这5个服务，就是启动成功）

8.登录网页

Hadoop：http://安装服务器的IP:8088/cluster

Namenode：http://安装服务器的IP:9870

DataNode：http://安装服务器的IP:9864

---

总结

这就是Hadoop单机版的安装，后续会更新HBASE的安装，以及集群的安装。