【Hadoop】Hadoop安装与配置（伪分布式）

0 前期准备

Linux的Java环境配置：https://blog.csdn.net/Tiezhu_Wang/article/details/113822949
Linux关闭防火墙：https://blog.csdn.net/Tiezhu_Wang/article/details/113861262
firefox安装：https://blog.csdn.net/Tiezhu_Wang/article/details/113385544

1 下载

官网：https://hadoop.apache.org/releases.html

或 百度网盘：链接：https://pan.baidu.com/s/1XHwHfBIu3fFSnqmtuH1p_A （提取码：xysm）

2 安装

将hadoop安装到/usr/local目录下：

sudo tar -zxf ~/Downloads/hadoop-3.2.1.tar.gz -C /usr/local

切换到目录下可以查看到已经解压完成：

修改文件权限（这里前一个“hadoop”是系统的用户名）：

cd /usr/local
sudo chown -R hadoop ./hadoop-3.2.1/

3 检查Hadoop是否可用

hadoop解压后即可使用，使用如下命令查看hadoop版本：

/usr/local/hadoop-3.2.1/bin/hadoop version

4 伪分布式配置

4.1 设置hadoop环境变量

vim ~/.bashrc

添加如下环境变量：

export HADOOP_HOME=/usr/local/hadoop-3.2.1
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

更改退出后使配置生效：

source ~/.bashrc

切换到任意目录下，检查环境变量是否配置成功：

cd
hadoop version

版本信息与上文相同，则配置成功

4.2 修改配置文件

hadoop伪分布式需要修改2个配置文件：core-site.xml 和 hdfs-site.xml
core-site.xml：

cd /usr/local/hadoop-3.2.1/etc/hadoop/
gedit ./core-site.xml

加入如下配置，保存后退出：

<configuration>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:/usr/local/hadoop-3.2.1/tmp</value>
		<description>A base for other temporary directories.</description>
	</property>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>

如图：

hdfs-site.xml：

cd /usr/local/hadoop-3.2.1/etc/hadoop/
gedit ./hdfs-site.xml

加入如下配置，保存后退出：

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/local/hadoop-3.2.1/tmp/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/local/hadoop-3.2.1/tmp/dfs/data</value>
	</property>
</configuration>

如图：

5 检查配置是否成功

配置完成后，执行namenode的格式化：

hdfs namenode -format

看到如下提示则格式化成功：

开启NameNode和DataNode守护进程：

start-dfs.sh

然后使用jps查看是否成功启动：

可以看到三个node进程已启动，还可以通过浏览器访问localhost:9870查看HDFS中的文件：

进入后即可查看初始的HDFS目录：

出现以上信息则配置成功，使用如下命令关闭守护进程：

stop-dfs.sh