三、(环境配置)搭建hadoop集群环境

到hadoop官网下载： https://hadoop.apache.org/releases.html

我现在使用版本：hadoop-2.7.4

将压缩包上传到linux的/usr/app目录下

解压：

tar -zxvf hadoop-2.7.4.tar.gz

一、配置hadoop-env.sh

hadoop/etc/hadoop 目录下

vi    hadoop-env.sh

修改文件里

export JAVA_HOME=/usr/app/jdk1.8.0_231

二、配置core-site.xml

# 指定主集群的地址
<property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop1:9000</value>
</property>

# 指定hadoop运行时产生文件的存储目录。
<property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/app/hdtmp</value>
</property>

三、配置hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>


<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop1:50090</value>
</property>

四、配置mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

五、配置yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

六、配置slaves文件 vi slaves

#先删除里面的内容,再添加：

hadoop1
hadoop2
hadoop3

七、配置hadoop环境变量

vi /etc/profile 添加

export HADOOP_HOME=/usr/app/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# 使配置生效：
source /etc/profile

八、发送配置好的hadoop文件夹给其他集群

scp -r /usr/app/hadoop-2.7.4/ root@hadoop2:/usr/app/
scp -r /usr/app/hadoop-2.7.4/ root@hadoop3:/usr/app/

各个集群的环境变量配置也要设置一致

scp -r /etc/profile root@hadoop2:/etc/
scp -r /etc/profile root@hadoop3:/etc/

在每个集群执行命令使环境变量生效

source /etc/profile

最后一步：格式化namenode

首次启动HDFS时，需要进行一次格式化操作。

# 在namenode所在机器上操作
hdfs namenode -format