springhadoop mapreduce wordcount

  
  

  
  

    
   
   
    
   
   

    
   
   
    
   
   

    
   
   
    
   
   



  
  @SpringBootApplication
@ImportResource("bean.xml")
public class App {

    public static void main(String[] args) {
        SpringApplication.run(App.class, args);
    }
}

这其中有个坑，官网介绍是可以集成2.6.0 hadoop的，不过我在执行的时候报错

java.lang.ClassNotFoundException: org.apache.hadoop.util.StopWatch

在之前的pom改成：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.7.2</version>
    <scope>compile</scope>
    <exclusions>
        <exclusion>
            <artifactId>slf4j-log4j12</artifactId>
            <groupId>org.slf4j</groupId>
        </exclusion>
    </exclusions>
</dependency>

启动App类，还是报错：

org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String

好了，这个是代表windows上调试hadoop需要hadoop.dll和winutils.exe，IDEA目前还不会配这个hadoop的路径，所以先放到linux上面跑一下。

打包，执行脚本开跑，结果为：

后续看看如何在IDEA上加上hadoop路径