Windows本地安装Hadoop

0x00 文章内容

1. 下载并解压
2. 配置执行环境

0x01 下载并解压

1. 下载Hadoop安装包

a. 此步骤略过

2. 解压Hadoop安装包

a. 如果你的Win系统当前用户不是管理员用户，为了保险起见，需要“以管理员身份运行”打开你的解压软件，然后用其解压Hadoop安装包。

此处路径为D:\software_win\，不然会多一层文件夹。
b. 本教程解压的路径为：D:\software_win\hadoop-2.7.5

0x02 配置执行环境

1. 配置环境变量

步骤与安装JAVA时一样，如果不会那就真的太悲催了！传送门：JDK8的安装与配置（win版本）

a. 配置环境变量HADOOP_HOME

b. 将HADOOP_HOME/bin配置到Path中

2. 拷贝相关文件到相应目录

a. 将hadoop.dll、libwinutils.lib以及winutils.exe三个文件放到HADOOP_HOME/bin中

b. 此三个文件获取途径：

• 软件下载链接：Windows本地安装Hadoop所需文件.zip
• 联系博主获取

0x03 配改配置文件

1. 修改core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
	<description>表示HDFS的基本路径</description>
</property>

提示：以下的配置已被表示为过期（ name 标签配置有区别）：

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>

2. 修改hdfs-site.xml

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <property> 
      <name>dfs.permissions.enabled</name> 
      <value>false</value> 
     </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/software_win/hadoop-2.7.5/tmp/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/software_win/hadoop-2.7.5/tmp/datanode</value>
    </property>
</configuration>

PS：
1、注意 configuration 标签。
2、可以将 dfs.namenode.name.dir 和 dfs.datanode.data.dir 路径修改一下。
3、 配置说明：dfs.permissions.enabled = true
如果是 true，则打开前文所述的权限系统。
如果是 false，权限检查就是关闭的，但是其他的行为没有改变。

0x04 格式化并启动HDFS

1. 格式化HDFS

进入 bin 目录，执行：

hdfs namenode -format

2. 启动HDFS

进入 sbin 目录，执行：

start-dfs.cmd

执行之后，会弹出两个窗口：

注意：不可以关掉启动之后打开的两个窗口！

0x05 检验结果

1. 查看WebUI页面

2. 执行简单的HDFS命令

3. 直接在执行结果

说明：此操作为在IDEA中操作，如不相关，可以不看！

a. 发现在IDEA中执行作业，控制台已经不会再报错。如果还是报错，请重启一下电脑！应该就可以了，本人也是重启了之后才行的。

0xFF 总结

1. 此教程在平时测试中会用到，而且在本博主的实战项目案例中也有用到：网站用户行为分析项目之会话切割（二）
2. 当然，不配置其实也可以的，不碍事，就是平时可能会麻烦一点而已。
3. 如果配置后还不行，请重启一下电脑，应该就行了。

---

作者简介：邵奈一
全栈工程师、市场洞察者、专栏编辑
| 公众号 | 微信 | 微博 | CSDN | 简书 |

福利：
邵奈一的技术博客导航
邵奈一 原创不易，如转载请标明出处。

---