Hadoop配置（完全分布式）基本功能完全

在这之前，如果有不会Linux的小伙伴们可以浏览我之前的文档喔

一、Hadoop下载

本人选取的是Hadoop3.1.3
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

在这点击链接即可下载https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

二、jdk安装

…省略

三、Hadoop安装

首先创建文件夹

mkdir -p /opt/module/

然后再创建一个software的目录

mkdir -p /opt/software

去到opt/software文件夹下

cd /opt/software

使用shell工具上传到software文件夹下

tar -zxvf  hadoop-3.1.3.tar.gz -C /opt/module

cd去/opt/module的文件夹下

cd /opt/module

把Hadoop-3.1.3重命名

mv /opt/module/hadoop-3.1.3 hadoop

四、配置基本配置

1、前往Hadoop底下的etc/hadoop文件夹下

cd /opt/module/hadoop/etc/hadoop

2、修改hadoop-env.sh文件

vim hadoop-env.sh

修改的内容如下，在文件中找到

#export JAVA_HOME=…

把注释去掉
变成完成语句

export JAVA_HOME=/opt/module/jdk1.8.0_391

/opt/module/jdk1.8.0_391是我的路径,替换成自己的实际路径

3、修改hdfs-site.xml

vim hdfs-site.xml

记得把内容放入 <configuration></configuration>

		<property>
                <name>dfs.repliction</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/opt/module/hadoop/data</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/opt/module/hadoop/data/datanodedata</value>
        </property>
        <property>
                <name>dfs.http.address</name>
                <value>master:50070</value>
        </property>

4、修改yarn-site.xml

使用命令查看hadoop的classpath的值

../..//bin/hadoop classpath

编辑yarn-site.xml

vim yarn-site.xml

修改内容如下,记得把内容放入 <configuration></configuration>

 		<property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.application.classpath</name>
                <value>实际的hadoop环境变量</value>
        </property>

5、修改mapred-site.xml

vim mapred-site.xml

修改内容如下,记得把内容放入 <configuration></configuration>

 		<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

6、修改core-site.xml

vim core-site.xml

修改内容如下,记得把内容放入 <configuration></configuration>

		<property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/temp</value>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.http.staticuser.user</name>
                <value>root</value>
        </property>
        <property>
                <name>fs.trash.interval</name>
                <value>10080</value>
        </property>

7、修改workers文档

vim workers

写入以下内容

 	master
  	slave1
   	slave2

8、把hadoop写入Linux的环境变量

vim/etc/profile

编辑入里面的内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH= $PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

把文件发送至slave1和slave2

scp -r /opt/module/hadoop root@slave1:/opt/module
scp -r /opt/module/hadoop root@slave2:/opt/module
scp -r /etc/profile root@slave1:/etc/module
scp -r /etc/profile root@slave2:/etc/module

格式化集群

cd /opt/module/hadoop 
hdfs namenode -foramt

启动集群

start-all.sh 

至此安装完成

验证启动成功

查看jps
看见有Datanode，Namenode， SecondaryNameNode，NodeManager，ResourceManager，即代表启动成功