Windows10环境安装hadoop及配置

Windows10环境安装hadoop及配置

一. Windows10环境下安装 

    1.  下载安装JDK1.8，并配置环境变量，注意：jdk路径不要包含空格

   以下这种jdk配置的路径中就有空格，不能使用

    2.  下载Hadoop镜像安装文件，下载地址：https://hadoop.apache.org/releases.html

 

3.  解压Hadoop镜像文件到磁盘目录下，注意：可以解压在非C盘下，存储目录不要包含中文和空格

4.  配置HADOOP_HOME环境变量，

 

4.1、并在系统环境变量Path中添加Hadoop环境变量    

        %HADOOP_HOME%\bin

       %HADOOP_HOME%\sbin

4.2、配置jdk路径

在 D:\software\hadoop\hadoop-3.3.0\etc\hadoop  路径下面的  hadoop-env.cmd 文件  ，

  注意： 无论是配置的JAVA_HOME环境变量，还是这种自定义的jdk路径，他们中不能含有空格

 

5. 打开cmd窗口，输入hadoop version命令验证

备注： 若出现 Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd的报错，则是因为JAVA_HOME环境变量配置的路径含有空格的原因

6.  Hadoop伪分布式部署配置

 a.  下载windows专用二进制文件和工具类依赖库: hadoop在windows上运行需要winutils支持和hadoop.dll等文件

    https://github.com/steveloughran/winutils

     在github仓库中找到对应版本的二进制库hadoop.dll和winutils.exe文件，然后把文件拷贝到hadoop解压的bin目录中去

注意:  hadoop.dll等文件不要与hadoop冲突，若出现依赖性错误可以将hadoop.dll放到C:\Windows\System32下一份

   b.  修改etc目录下的core-site.xml文件 

   <configuration>

   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
   </property> 
    <property>  
     <name>hadoop.security.authorization</name>  
      <value>false</value>  
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/software/hadoop/hadoop-3.3.0/tmp</value>
    </property>

  </configuration>

  注意：windows目录路径要改成使用正斜杠，且磁盘名称最前面也需要一个正斜杠

   c.  修改hdfs-site.xml配置文件

     <configuration>

     <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>  

   <!-- 设置名称节点位置 存储名称表（fsimage）的位置-->

   <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/software/hadoop/hadoop-3.3.0/data/namenode</value>
    </property>
       <!-- 确定DFS数据节点应在本地文件系统上的哪个位置存储其块 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/software/hadoop/hadoop-3.3.0/data/datanode</value>
    </property>  
   
   <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
   </property>

   <property>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>
   </property>

   </configuration>

    注意：windows目录路径要改成使用正斜杠，且磁盘名称最前面也需要一个正斜杠

   d.   节点格式化

        在cmd窗口执行命令：hdfs namenode -format

       执行成功结果：表示节点格式化成功

多出data文件夹

 7. 启动&关闭Hadoop

     a.  进入Hadoop的sbin目录下执行start-dfs.cmd启动Hadoop     

     b.  Web界面查看HDFS信息，在浏览器输入http://localhost:9870/，可访问NameNode