spark 本地调试运行WordCount（java版local模式）

最新推荐文章于 2024-08-19 15:43:18 发布

宇毅

最新推荐文章于 2024-08-19 15:43:18 发布

阅读量2.2w

点赞数 1

分类专栏： spark 文章标签： java spark local运行 wordcount

本文链接：https://blog.csdn.net/xsdxs/article/details/52203922

版权

spark 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

1 背景

之前工作都是把spark程序打包好，上传到公司的集群环境后进行代码调试！一个spark程序用maven打包后往往有100M左右，上传调试很不方便。spark可以local单机运行，所以就在eclipse上搭建了一个单机调试环境。

2 环境配置

首先需要配置java（版本：1.8）以及maven(版本：3.3.9)环境，版本不要求一致，也可使用其他java和maven版本配置开发环境。这两者配置在此不做介绍。
1. Window 7 下装hadoop 2.6.4，需要下载两个文件：
Hadoop：hadoop-2.6.4.tar.gz
下载地址：http://hadoop.apache.org/releases.html
Hadoop-Common：hadoop2.6(x64)V0.2.zip(2.4以后)、(hadoop-common-2.2.0-bin-master.zip)
下载地址：http://download.csdn.net/detail/myamor/8393459
2. 配置hadoop_home环境变量
把hadoop-2.6.4.tar.gz解压到某个路径，如：D:\hadoop-2.6.4。新建HADOOP_HOME，并把%HADOOP_HOME%\bin加到path中。环境变量配置流程，如下图。

3.拷贝Hadoop-Common 下的文件
官方下载的Apache hadoop 2.6.4的压缩包里，缺少windows下运行的链接库（hadoop.dll，winutils.exe，libwinutils.lib等）。下载Hadoop-Common后直接解压，把里面的文件全部拷贝到官方hadoop目录下的bin目录即可。
缺少winutils.exe，否则运行会报如下错误：
java.io.IOException: Could not locate executable D:\hadoop-2.6.4\bin\winutils.exe in the Hadoop binaries.

3 maven pom 依赖

    <dependency>
        <groupId>jdk.tools</groupId>
        <artifactId>jdk.tools</artifactId>
        <version>1.8</version>
        <scope>system</scope>
        <systemPath>${JAVA_HOME}\lib\tools.jar</systemPath>
    </dependency>
    <dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-core_2.10</artifactId>
         <version>1.6.1</version>
     </dependency>

4 代码

经典案例，词频统计。

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;

public class WordCount {

public static void main(String[] args) {
    SparkConf conf = new SparkConf().setMaster("local").setAppName("wordCountTest");
    JavaSparkContext sc = new JavaSparkContext(conf);
    String outputDir=args[0];

    List<String> list=new ArrayList<String>();
    list.add("1 1 2 a b");
    list.add("a b 1 2 3");
    JavaRDD<String> RddList=sc.parallelize(list);

    //先切分为单词，扁平化处理
    JavaRDD<String> flatMapRdd = RddList.flatMap(new FlatMapFunction<String, String>() {
        @Override
        public Iterable<String> call(String str) {
            return Arrays.asList(str.split(" "));
        }
    });

    //再转化为键值对
    JavaPairRDD<String, Integer> pairRdd = flatMapRdd.mapToPair(new PairFunction<String, String, Integer>() {
        public Tuple2<String, Integer> call(String word) throws Exception {
            return new Tuple2<String, Integer>(word, 1);
        }
    });

    //对每个词语进行计数
    JavaPairRDD<String, Integer> countRdd = pairRdd.reduceByKey(new Function2<Integer, Integer, Integer>() {
        @Override
        public Integer call(Integer i1, Integer i2) {
            return i1 + i2;
        }
    });
    System.out.println("结果："+countRdd.collect());
    countRdd.saveAsTextFile(outputDir);
    sc.close();
}
}