IDEA 下使用maven 创建 MapReduce(配置环境 Mac OS)

第一次使用 maven 创建项目，第一次碰到的坑不少，但是 maven 的确好用啊！！看别的好多博客写的教程不清楚，并且好多都是复制的，期间遇到了好多坑也没解释。简单说下步骤，和我遇到的坑~~~~

环境：IDEA JDK1.8（已配置）maven（官网下载的没使用 IDEA 自带的）

第一步：maven 搭建
1. 官网下载 http://maven.apache.org/download.cgi （mac 我下载的是）
2. 下载后解压 我解压到了 /Library/apache-maven
3. 输入命令配置环境变量 vi ~/.bash_profile
4. export M2_HOME=/Library/apache-maven
5. PATH=”$M2_HOME/bin”自己之前配的别的不要删除
6. 配置文件生效 source ~/.bash_profile
7.查看 maven 输入命令 mvn -version查看是不是安装成功

第二步：配置 IDEA 下 maven 的设置

1. 在 maven 中配置这三个
2. maven home directory ：自己安装 maven 的目录
3. User settings file：这个就是在 maven 目录下的/conf 下的配置文件（很重要，下面要配置）
4. Local repository：这个是下载的 jar 包的目录（没有这个 repository 文件，自己创建一个）
5. 默认（3和4文件）文件在 用户名下的 ~/.m2文件里面（自己配置了好管理）

第三步：配置 settings 文件

1.这个就是 jar 包下载目录的配置
2.使用中央仓库，不然下载 jar 包太慢了

3.传一下代码，自己也可以配置别的中央仓库。

<mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf> 
    </mirror>

第四步：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.hubo</groupId>
    <artifactId>bigdata</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId></artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.9.0</version>
        </dependency>
    </dependencies>
</project>

配置之后就会导入很多包

第四步：写程序
把之前写的程序放进去

package MapReduce;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;

/**
 * Created by hubo on 2017/12/3
 */
public class wordcount {
    private static final String OUT = "hdfs://hdp01:9000/wordcount/output/";
    public static class Map extends Mapper<LongWritable,Text,Text,LongWritable>{
        @Override
        protected void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            String[] words = value.toString().split(" ");
            for(String word : words){
                context.write(new Text(word),new LongWritable(1L));
            }
        }
    }

    public static class Reduce extends Reducer<Text,LongWritable,Text,LongWritable>{
        @Override
        protected void reduce(Text key, Iterable<LongWritable> values, Context context)
                throws IOException, InterruptedException {
            Long count = 0L;
            for(LongWritable value : values){
                count += value.get();
            }
            context.write(key,new LongWritable(count));
        }
    }

    public static void main(String[] args) throws Exception{

        //设置环境变量HADOOP_USER_NAME，其值是root
        //在本机调试
        System.setProperty("HADOOP_USER_NAME", "root");
        //读取配置文件
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS","hdfs://192.168.56.101:9000");
        conf.set("yarn.resourcemanager.hostname","hdp01");

        FileSystem fs = FileSystem.get(conf);

        Job job = Job.getInstance(conf,"Demo");
        job.setJarByClass(wordcount.class); //主类

        job.setMapperClass(Map.class);
        //combine过程发生在map方法和reduce方法之间，它将中间结果进行了一次合并。
        job.setCombinerClass(Reduce.class);
        job.setReducerClass(Reduce.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(LongWritable.class);

        job.setNumReduceTasks(2);

        Path out = new Path(OUT);
        org.apache.hadoop.mapreduce.lib.input.FileInputFormat.setInputPaths(job,new Path("hdfs://hdp01:9000/wordcount/input/"));
        org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.setOutputPath(job,out);

        if(fs.exists(out)){
            fs.delete(out, true);
        }
        System.exit(job.waitForCompletion(true) ? 0:1 );
    }
}

在IDEA中运行MapReduce程序，参数设置都正确的情况下，运行时控制台的输出为：
log4j:WARN No appenders could be found for logger (org.apache.Hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

解决方法：将 hadoop 下的/etc/hadoop/里面的 log4.properties 拷贝到
项目下面的
之后运行就可以了