hadoop2.9 idea_Hadoop入门学习之（二）：Intellij 开发Hadoop环境搭建

环境要求

1、jdk1.8(Hadoop官方推荐1.7)

2、intellij idea

3、windows 下需要安装x64 cygwin，否则会出现如下错误：

Cannot run program "chmod": CreateProcess error=2

解决方法：到cygwin官网下载setup-x86_64.exe

安装之后，把bin目录配置到windows的环境变量path中，记得重启intellij idea。

本教程不需要安装任何模式的Hadoop。

WordCount

这里以Hadoop的官方示例程序WordCount为例，演示如何一步步编写程序直到运行。

项目搭建

使用idea新建一个普通maven项目

添加pom依赖

这里只需要用到基础依赖hadoop-core和hadoop-common；如果需要读写HDFS，则还需要依赖hadoop-hdfs和hadoop-client；如果需要读写HBase，则还需要依赖hbase-client。

org.apache.hadoop

hadoop-core

1.2.1

org.apache.hadoop

hadoop-common

2.9.0

注意：hadoop-core使用1.2.1版本会出现以下错误：

Failed to set permissions of path: \tmp\ .staging to 0700

解决方法：

1、hadoop-core的版本换成0.20.2版本，相应的main方法里面的 J