Windows上部署hadoop

1、 软件下载

下载 https://archive.apache.org/dist/hadoop/common/ 中有  hadoop 所有版本，我安装的是hadoop-2.7.3

2、安装 jdk-8u11-windows-x64.exe

1. 要安装 JDK，请转至 URL http://java.sun.com/javase/downloads/index.jsp。

2. 找到相应的 JDK 并单击 "Download"。

   JDK 将安装到您的计算机上，例如C:\Program Files\Java\jdk1.8.0_11下。如果需要，您可以将 JDK 移动到其他位置。一旦安装了 JDK，您即可设置 JAVA_HOME。

3. 要设置 JDK，请右键单击“我的电脑”，然后选择“属性”。

4. 在“高级”选项卡上，选择“环境变量”，然后编辑 JAVA_HOME 以指向 JDK 所在的位置（例如：C:\Program Files\Java\jdk1.8.0_11）。

5. 配置环境变量，PATH=.....;%JAVA_HOME%\bin;

   CLASSPATH=%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

3、 hadoop 配置

配置hadoop文件

需要修改的文件：

hadoop-env.cmd

hdfs-site.xml

core-site.xml

mapred-site.xml 

yarn-site.xml

需要修改的内容：

3.1、hadoop-env.cmd 里设置：set JAVA_HOME=C:\Progra~1\Java\jdk1.8.0_11

3.2、

core-site.xml文件设置

<configuration>

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://xxx.xx.x.xx:8020</value>

</property>

</configuration>

3.3、

hdfs-site.xml 文件设置：

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

<property>

    <name>dfs.namenode.name.dir</name>

    <value>file:///hadoop-2.7.3/dfs/nn</value>

</property>

<property>

    <name>dfs.namenode.checkpoint.dir</name>

    <value>file:///hadoop-2.7.3/dfs/sn</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>file:///hadoop-2.7.3/dfs/dn</value>

</property>

<property>

    <name>dfs.namenode.secondary.http-address</name><value>localhost:50090</value>

</property>

<property>

    <name>dfs.webhdfs.enabled</name><value>true</value>

</property>

</configuration>

3.4、mapred-site.xml文件设置：

<configuration>

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

</configuration>

3.5、yarn-site.xml 文件设置：

<configuration>

<property>

    <name>yarn.resourcemanager.resource-tracker.address</name><value>xxx.xx.x.xx:8031</value>

</property>

<property>

    <name>yarn.resourcemanager.scheduler.address</name><value>xxx.xx.x.xx:8030</value>

</property>

<property>

    <name>yarn.resourcemanager.admin.address</name><value>xxx.xx.x.xx:8033</value>

</property>

<property>

    <name>yarn.resourcemanager.webapp.address</name><value>xxx.xx.x.xx:8088</value></property>

<property>

    <name>yarn.resourcemanager.address</name><value>xxx.xx.x.xx:8032</value>

</property>

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

</configuration>

3.6、路径问题

file:///dfs/nn    反应的是当下的磁盘 如果命令执行在 D盘，指的是 D:/dfs/nn

4、 hdfs格式化

初始化，格式化hdfs磁盘

hadoop namenode -format

5、启动hadoop 和试用

可以设置环境变量，或者去到Hadoop目录下的sbin文件夹启动命令

start-dfs.cmd  启动 hdfs

start-yarn.cmd  启动 yarn

start-all.cmd  启动 yarn 和 dfs

6、启动问题

如果启动窗口发现resourcemanager未启动成功，则yarn.cmd里有编码问题

最终解决，使用Notepad++, 如下操作 Edit -> EOL Conversion -> Windows Format，保存并在hadoop的sbin目录下运行start-all.cmd，可以看到resourcemanager成功运行。

将\r 替换成 \r\n

在sublime text3 下，对 yarn文件  ，alt+r 替换\n  为 \r\n

7、试用

xxx.xxx.x.xxx:50070/  hdfs web界面

xxx.xxx.x.xxx:8088  yarn web  界面