hadoop 环境搭建

按照Windows环境下搭建Hadoop(2.6.0）+Hive(2.2.0)环境并连接Kettle(6.0) 即可完成2.6的搭建。

在windows10中遇到的部分问题可参考 快速搞定Windows10环境下hadoop安装和配置 这篇文章

其中需要注意的是以下错误

1、error Couldn't find a package.json file in "***\\hadoop-2.6.0\\sbin

出现这个错误需要通过cmd执行where yarn 看下本机是否装了多个yarn，将和hadoop不相干的yarn（主要是node中的那个yarn）处理以下，比如先改个其他的名字或者删掉，这样就能顺利开启yarn了。

2、部署环境是win10，开启yarn可能出现进程无法访问本地资源，需要提升win10权限

（1）按Win+X组合键或者鼠标右击开始按钮,以管理员身份运行命令提示符窗口,输入以下命令:net user administrator /active:yes

（2）回车,即可启用Administrator帐户。当显示系统登录界面时,你即可看到显示在用户帐户列表中的Administrator帐户。

或者

以管理员身份运行cmd，切换到hadoop的sbin目录，执行start-all.cmd即可。

3、文件core-site.xml需要做如下配置

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

4、文件hdfs-site.xml中需要按照如下配置进行修改

修改hdfs-site.xml配置文件

     <configuration>

   <property>

    <name>hadoop.tmp.dir</name>

    <value>/E:/tools/hadoop-3.1.2/hadoop-3.1.2/data</value>

    <description>存放临时数据的目录，即包括NameNode的数据</description>

    </property>

   <property>

    <name>fs.defaultFS</name>

    <value>hdfs://localhost:9000</value>

   </property>

   </configuration>

    注意：windows目录路径要改成使用正斜杠，且磁盘名称最前面也需要一个正斜杠