hadoop的安装配置

相关软件所在目录

hadoop

/opt/hadoop-2.9.2/

jdk

/usr/java/jdk1.8.0_161/

配置环境变量hadoop-env.sh

找到环境变量文件

[root@hadoop01 ~]# vi /opt/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

在文件的靠前的部分找到下面的一行代码：

export JAVA_HOME=${JAVA_HOME} 

将这行代码修改为下面的代码：

export JAVA_HOME=/usr/java/jdk1.8.0_161/

找到下面的一行代码

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}

将这行代码修改为

export HADOOP_CONF_DIR=/opt/hadoop-2.9.2/etc/hadoop

配置 core-site.xml

找到环境变量文件

[root@hadoop01 ~]# vi /opt/hadoop-2.9.2/etc/hadoop/core-site.xml

修改配置文件

<configuration>
<!--指定namenode服务器地址和通信端口号--> 
	<property> 
		<name>fs.defaultFS</name> 
		<value>hdfs://localhost:9000</value> 
	</property>
<!--指定namenode存放元数据的目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop-2.9.2/tmp</value>
	</property> 
</configuration>

配置hdfs-site.xml

找到环境变量文件

[root@hadoop01 ~]# vi /opt/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

修改配置文件

<configuration> 
	<property> 
		<name>dfs.replication</name> 
		<value>1</value> 
	</property> 
</configuration>

配置slaves

找到环境变量文件

[root@hadoop01 ~]# vi /opt/hadoop-2.9.2/etc/hadoop/slaves

修改文件内容：slaves文件里面记录的是集群里所有DataNode的主机名

hadoop01

配置Hadoop启动的系统环境变量

执行命令

[root@hadoop01]# vi etc/profile 

将下面的代码追加到profile末尾

export HADOOP_HOME=/opt/hadoop-2.9.2/

在path后面加上，然后将path调到末尾：

$HADOOP_HOME/bin:$HADOOP_HOME/sbin

截图如下所示：

然后执行命令，使改动生效：

[root@hadoop01]# source /etc/profile

格式化文件系统

[root@hadoop01 ~]# cd /opt/hadoop-2.9.2/
[root@hadoop01 hadoop-2.9.2]# bin/hdfs namenode -format

启动集群

启动集群

[root@hadoop01 hadoop-2.9.2]# sbin/start-dfs.sh

验证集群是否启动成功:出现以下四个节点表示成功

[root@hadoop01 hadoop-2.9.2]# jps

出现以下四个节点表示集群启动成功

8481 SecondaryNameNode
7988 DataNode
10039 Jps
7899 NameNode