Windows系统搭建Hadoop，Spark开发环境

1.准备工具：

  1.Hadoop所需要替换的bin目录下的文件

  2.Hadoop 3.1

  3.spark-2.3.1

  4.JDK 1.8

工具下载：  下载

2.解压配置

2.1 将下载好的Hadoop 和 Spark进行解压，并重命名，此处我重名为：hadoop-3.1.0和spark

2.2 将准备工具中的第一项下载的包(hadoop3.1-bin)进行解压，并进行更换 解压的hadoop3.1.0下的/bin目录里的文件

2.3 环境变量配置

2.3.1 配置HADOOP_HOME

2.3.2 配置SPARK_HOME

2.3.3 将环境变量 %HADOOP_HOME%\bin; 加入path

2.3.4 修改D:\hadoop-3.1.0\etc\hadoop目录下的hadoop-env.cmd文件，为本机jdk路径

@rem The java implementation to use.  Required.
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_191

3.修改etc\hadoop文件配置

3.1 修改core-site.xml

<configuration>
  <property>  
    <name>fs.default.name</name>  
    <value>hdfs://localhost:9000</value>  
  </property>  
</configuration>

3.2 修改hdfs-site.xml 中：其中在hadoop文件下新建data文件夹，在data文件夹下新建namenode文件加和datanode文件夹

file地址，写自己的文件地址

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/D:/hadoop-3.1.0/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/D:/hadoop-3.1.0/data/datanode</value>
    </property>
</configuration>

3.3 修改mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

3.4 修改yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
      <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>127.0.0.1:8088</value>
        </property>
        <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
</property>
</configuration>

3.启动测试

    3.1启动hdfs 和 yarn

    进入D:\hadoop-3.1.0\sbin文件夹，按"Shift" + "从此处打开命令窗口"，输入：hdfs namenode -format 执行完后

3.2 执行 start-dfs.cmd 会另外开启两个窗口，没有报错，即启动成功

3.3 执行 yarn start-yarn.cmd

3.4 都启动之后访问：http://localhost:8088/ 出现以下页面即为成功

再访问 http://localhost:9870/ 这个地址 出现以下页面即为成功

3.5 直接进入D:\spark\bin 运行spark-shell.cmd即可

Spark的Scala语言编辑窗口出现，说明本次开发环境的搭建顺利完成了。