分布式Hadoop集群、Spark配置（11台机器）学习笔记

1. 准备工作

由于环境限制，本人直接在linux下创建了自己的用户名，用自己的用户进行操作，所以涉及到的修改环境变量的一些问题，均是在*.bashrc*中编辑,如果想要配置全局的环境变量，需要在/etc/profile中修改

在本地机器上先下载好相关软件

1. hadoop-2.9.2（https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/）
2. jdk1.8.0_221（链接：https://pan.baidu.com/s/1HQRB0PYd5LTvxYf5tsUhjg
   提取码：dsn1）
3. scala-2.11.12（https://www.scala-lang.org/download/2.11.12.html）
4. spark-2.4.6(https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.6/)

2. 开始安装

2.1 Java

1. 解压软件
   tar -zxvf JDK目录 -C 目的地址
   例如：tar -zxvf jdk1.8.0_221.tgz
   （由于我是直接下载到我想安装的目录，所以我的代码中就直接解压了，目的地址默认是我JDK所在的目录）
2. 配置环境变量
   vi ~/.bashrc
   添加如下代码：

export JAVA_HOME=/home/yt/hadoopApp/jdk1.8.0_221
export JRE_HOME=/home/yt/hadoopApp/jdk1.8.0_221/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:

3. 更新环境变量，查看是否配置成功

source ~/.bashrc

出现如下字样即配置成功：

2.2 Hadoop

1. 解压Hadoop

tar -zxvf spark-2.4.6-bin-hadoop2.7.tgz

2. 修改配置文件（文件均在hadoop目录下的 etc/hadoop/ 中）

2.1 hadoop-env.sh

vim hadoop-env.sh

输入如下代码（也就是导入自己的jdk路径）：

 export JAVA_HOME=/home/yt/hadoopApp/jdk1.8.0_221

2.2 hdfs-site.xml

vim hdfs-site.xml

输入如下代码（这里所出现的文件夹是hadoop启动时自动创建，无需自己新建，只需要配好文件夹的位置即可，具体位置看个人喜好）：

<configuration>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/yt/hadoopApp/hadoop-2.9.2/data/hadoop/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/yt/hadoopApp/hadoop-2.9.2/data/hadoop/hdfs/data</value>
</property>
<property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>hadoop1:50090</value>
</property>
<property>
     <name>dfs.replication</name>
     <value>2</value>
</property>
</configuration>

2.3 core-site.xml

vim core-site.xml

输入如下代码（这里的文件夹我是自己创建的，具体能不能自动创建我没有尝试，有兴趣的话可以自行尝试）：

<configuration>
    <property>
    <name>fs.defaultFS</name>
      <value>hdfs://hadoop1:8020</value