IntelliJ IDEA搭建Hadoop开发环境

前言

        这是关于Hadoop的系列文章。

Hadoop基本概念指南

Eclipse搭建Hadoop开发环境二三事

IntelliJ IDEA搭建Hadoop开发环境

Hadoop文件存储系统-HDFS详解以及java编程实现

准备

        事实上，我前面搭建的关于Hadoop的开发环境已经够用了。可是那始终是提交到本地的，任务在本地跑，总让人感觉怪怪的。而且还依赖着HADOOP_HOME这样的环境变量，还得选中依赖的jar包以及依赖所谓的插件。所以我想可不可以用maven来管理我们需要的jar，然后通过一定的设置让我们的任务提交到远程去呢！
        我先来说说本次项目的搭建需要依赖的东西：
就只是maven，没错，就只是maven。好了，废话不多说迅速的开始干活！

---

依赖的jar

        这里的话实际上我们只需要依赖hadoop的核心jar包即可。如下所示是我的pom中的全部依赖：

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>