转：Intellij IDEA 创建Hadoop开发工程

1. 将Centos 上搭建好的 Hadoop配置环境，打包传到 Windows 目录 D:\tools\hadoop

2. 下载 Hadoop 在 Window 上的相关库文件，并将相关文件复制到 D:\tools\hadoop-2.5.0\bin

     如下图，将 hadoop.dll和winutile.exe放到hadoop的bin文件夹里.zip 放在 hadoop.xx/bin 目录下 

   

3. Windows 需要配置Java环境。 将 HADOOP_HOME\bin,  HADOOP_HOME\sbin 相应的环境配置到 PATH上。

4. 启动 IntelliJ IDEA。创建一个 Maven 项目
     // 这步只需一直 next，直到项目创建成功, 进入项目界面。

5. 打开 pom.xml

添加配置， 配置完成后，会提示的是否配置下载环境的。点击Import Changes以更新依赖,或者点击Enable Auto Import。此时 Hadoop 的jar依赖完成

1. <?xml version="1.0" encoding="UTF-8"?>

2. <project xmlns="http://maven.apache.org/POM/4.0.0"

3. xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

4. xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

5. <modelVersion>4.0.0</modelVersion>

6.  

7. <groupId>com.hsd.counter</groupId>

8. <artifactId>hdfs-api-exise</artifactId>

9. <version>1.0-SNAPSHOT</version>

10. <!-- 添加下述文件 -->

11. <properties>

12. <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

13. <hadoop.version>2.5.0</hadoop.version>

14. </properties>

15. <dependencies>

16. <dependency>

17. <groupId>junit</groupId>

18. <artifactId>junit</artifactId>

19. <version>4.12</version>

20. </dependency>

21. <dependency>

22. <groupId>org.apache.hadoop</groupId>

23. <artifactId>hadoop-client</artifactId>

24. <version>${hadoop.version}</version>

25. </dependency>

26. <dependency>

27. <groupId>org.apache.hadoop</groupId>

28. <artifactId>hadoop-common</artifactId>

29. <version>${hadoop.version}</version>

30. </dependency>

31. <dependency>

32. <groupId>org.apache.hadoop</groupId>

33. <artifactId>hadoop-hdfs</artifactId>

34. <version>${hadoop.version}</version>

35. </dependency>

36. </dependencies>

37. </project>

6. 将 D:\tools\hadoop-2.5.0\etc 下的相关文件 复制添加到 resources 目录下。

7.  编写程序，开始验证

注： 在连接 hadoop 时，会报 Permission denied， 这个错误是由于 “本地程序需要访问：
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/moduels/hadoop-2.5.0/data/tmp</value>
        </property>

”， 而本地用户没有对应的权限（本地程序是 本地用户，如window环境下，是window用户），所以需要更改权限
                   hadoop fs -chmod 777 /tmp -> (/opt/moduels/hadoop-2.5.0/data/tmp.）

 /tmp 是服务器的根目录下的 tmp 目录

8.   配置 jar 包
      1. 项目右键 -> Open module Settings, 如下图

       2.  选择 Module， 选定当前项目， 点击 + 号， 添加 jar 包。

          3.   点击 + 号， 选择 D:\tools\hadoop （windows 上的hadoop 目录，从centos 打包复制过来）
          4.   D:\tools\hadoop\share\hadoop\common 选择该路径下的所有目录，点击 ok。

            5.    选择 Aritifacts，如果中框中没有任何内容，可以选择 + 号， jar -> from modules with dependencies
            6.    配置 name， MainCLass， 这里自动配置。

9.   当 jar 完成配置，即可以进行验证了。

---

使用HadoopIntellijPlugin-1.0.zip 插件来连接远程Hadoop

1.  打开 intelliJ, File -> settings -> Plugins   -->   HadoopIntellijPlugin-1.0

点击 ok 后, 会让你重启 intelliJ IDE. 在这个阶段会弹出一个对话框--"是否将默认是指导入到项目中", 点击 yes 或 "是"

2.    点击 Hadoop , 选择 "设置",  

3.  在常规设置选项卡中, 基本上可以不用处理. 如果有需要, 可以定制化'语言'和'显示方式'

4.   在'系统连接信息设置'中, 需要先添加配置, 即点击 "+".

   连接名称: 随意写.
   HDFS: fs.defaultFS 写的地址, 本机即 node01 的地址.
   端口:  fs.defaultFS 写的端口.
   用户名称: 当前可操作hadoop的用户名称即可.

   core-site.xml的配置文件:
   <property>
   <name>fs.defaultFS</name>
   <value>hdfs://node01:8020</value>
   </property>

5.    点击测试.
        如弹出'连接成功', 即ok.

6、补充：这里提供一个云盘资源，可以去下载。设置完成后测试时不成功的，但是从idea左侧边栏的“Hadoop File System”中可以直接查看hdfs的信息；

链接：https://pan.baidu.com/s/1T1xSEkQVeVwwnWIF61gFkw 
提取码：4t9u