基于Java8流式语法的Spark程序之入门级WordCount

写在前面：

1. 在使用java学习spark之前必须要先去了解java8流式语法，这十分有利于学习spark的计算方式。
   关于流式语法它就像一个管道，将初始的数据看成需要加工的原材料，通过每次管道的流水线作业进行加工转换，最后包装成产品。这里涉及到spark中两个算子，每次管道的流水线作业相当于spark中的转换算子，最后包装成产品相当于spark中的行动算子。
2. 关于spark中出现的Tuple2类，它是元组<value1,value2>,是两个值成对出现的一种数据结构。
3. 关于如何搭建spark环境，这里先提一手，需要先安装jdk，scala，hadoop，然后再安装spark，安装教程后续会出。

 

• 基于idea创建一个maven项目

在pom.xml中引入以下依赖，其中依赖的版本依据你安装的spark版本选择，如果不知道依赖是什么可以在maven公共依赖仓库看到各个spark依赖的历史版本，选择正确的版本即可。以下给出我的完整pom文件。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>untitled</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.0.0-preview</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>8</source>
                    <target>8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

• 编写一个简单计算单词出现次数并统计出现次数排行前十的Demo

public class WordCount {
	public static void main(String[] args) {
		SparkConf conf = new SparkConf().setAppName("count word").setMaster("local");
		JavaSparkContext sparkContext = new JavaSparkContext(conf);
		JavaRDD<String> input = sparkContext.textFile("input.txt");
		//将行句子按空格切割，生成元组，再将单词相同的元组数量合并相加
		// JavaPairRDD<String, Integer> counts = input.flatMap(s -> Arrays.asList(s.split(" ")).iterator())
		// 		.mapToPair(word -> new Tuple2<>(word, 1)).reduceByKey((v1, v2) -> v1 + v2);
		// //将元组前后序调换，按数量排序取前十个。
		// List<Tuple2<Integer, String>> top10 = counts.mapToPair(tu -> new Tuple2<>(tu._2(), tu._1())).sortByKey(false).take(10);
		List<Tuple2<Integer, String>> top10 = input.flatMap(s -> Arrays.asList(s.split(" ")).iterator())
				.mapToPair(word -> new Tuple2<>(word, 1)).reduceByKey((v1, v2) -> v1 + v2)
				.mapToPair(tu -> new Tuple2<>(tu._2(), tu._1())).sortByKey(false).take(10);
		top10.forEach(v-> System.out.println(v._2()+" 出现次数是："+v._1()));
	}
}

•  创建一个运行程序所需的样例文本

spark中textFile是读取相对路径下的文本文件，所以本次我们只需要在创建的项目最顶层目录下创建一个input.txt文件并输入进一些样例句子。其目录位置即如下图相同位置。

以上三步执行完即可运行程序，计算结果了，在以上例子中，我最终的运算结果如下图。如果有运行不成功或者代码看不懂的请参考“写在前面的三条tips”。