大数据环境搭建（四）Hadoop伪分布式安装配置

大数据环境搭建（四）Hadoop伪分布式安装配置

上篇JDK安装
部分参考博主https://blog.csdn.net/qjk19940101/article/details/70544197

本文都在root用户下进行环境搭建

Ubuntu默认不支持root用户直接登录可以采用下面教程登录
使用root用户进入Ubuntu

1.配置SSH免密登录

1.安装SSH Server

sudo apt-get install openssh-server

2.登录再退出SSH

ssh localhost		#登录
exit		#退出

3.配置无密码登录

cd ~/.ssh/   	#若没有该目录，请执行一次ssh localhost
ssh-keygen -t rsa 		#使用rsa算法生成秘钥和公钥对，按三次回车就可以
cat ./id_rsa.pub >> ./authorized_keys 		#把公钥加入到授权中
ssh localhost		#重新登录

1.Hadoop下载安装

官网：http://hadoop.apache.org/releases.html 选择Binary download
本文使用hadoop3.1.3版本

1.解压到/usr/local

tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local

2.重命名文件夹

cd /usr/local
mv ./hadoop-3.1.3 ./hadoop

3.检测是否安装成功

cd /usr/local/hadoop
bin/hadoop version

出现如下图所示

2.Hadoop伪分布式配置

由于Hadoop默认模式为非分布式模式（本地模式），无需进行其他配置即可运行，这里只介绍伪分布式配置方法。

cd /usr/local/hadoop/etc/hadoop

这目录下有三个需要配置的文件

打开core-site.xml

vim core-site.xml

将<configuration></configuration>修改如下配置

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

打开hdfs-site.xml

vim hdfs-site.xml

将<configuration></configuration>修改如下配置

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
	<property>
		<name>dfs.http.address</name>
		<value>localhost:50070</value>
	</property>
</configuration>

打开hadoop-env.sh

vim hadoop-env.sh

找到#export JAVA_HOME= 语句修改或直接在空白处添加为如下

export JAVA_HOME=/usr/local/java/jdk1.8.0_251

返回hadoop主目录格式化NameNode

cd /usr/local/hadoop
./bin/hdfs namenode -format

以上成功配置hadoop伪分布式

另需在root用户下启动hadoop则

1. 在/usr/local/hadoop/sbin路径下的start-dfs.sh，stop-dfs.sh两个文件顶部添加参数

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

2. 在start-yarn.sh，stop-yarn.sh两个文件顶部添加参数

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

3.启动Hadoop

./sbin/start-dfs.sh

在终端输入jps查看进程，出现如下则启动成功

在浏览器输入localhost:50070出现以下页面
关闭Hadoop

./sbin/stop-dfs.sh

建议只格式化一次，否则namenode和datanode的clusterID会不一致报错

不建议在/etc/profile中配置Hadoop_HOME否则后续可能会和Hbase冲突报错