准备写一个系列的笔记,记录自己学习spark的过程,因为公司使用的是java语言,所以本系列的博客都是以java语言实现的,欢迎拍砖。有更好的实现方法,请告诉我,一起学习。
1 环境配置
在本地使用java写spark程序,只需要配置好jdk环境,新建一个maven项目,在pom中添加如下依赖:
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-mllib_2.10</artifactId>
<version>1.6.2</version>
</dependency>
</dependencies>
2 使用java实现的Spark 版本的word count
程序很简单,直接给出代码:
package RDD;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFlatMapFunction;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;
import java.util.ArrayList;
import java.util.List;
/**
* Created by Macan on 2017/9/25.
*/
public class WordCount {
public static void main(String[] args) {
System.setProperty("hadoop.home.dir","C:\\winutils");
SparkConf sc = new SparkConf().setMaster("local[*]").setAppName("LoadData");
JavaSparkContext jsc = new JavaSparkContext(sc);
JavaRDD<String> input = jsc.textFile("src/main/resources/entity/part-00000");
//切分单词, 相当于hadoop 中的map阶段
JavaPairRDD<String, Integer> flattenPairs = input.flatMapToPair(new PairFlatMapFunction<String, String, Integer>() {
public Iterable<Tuple2<String, Integer>> call(String s) throws Exception {
List<Tuple2<String, Integer>> res = new ArrayList<Tuple2<String, Integer>>();
String[] words = s.replaceAll("[\"]", "").split(",");
for (String word : words){
res.add(new Tuple2<String, Integer>(word, 1));
}
return res;
}
});
//reduce
JavaPairRDD<String, Integer> wordCountRdd = flattenPairs.reduceByKey(new Function2<Integer, Integer, Integer>() {
public Integer call(Integer count1, Integer count2) throws Exception {
return count1 + count2;
}
});
JavaPairRDD<Integer, String> result = wordCountRdd.mapToPair(new PairFunction<Tuple2<String, Integer>, Integer, String>() {
@Override
public Tuple2<Integer, String> call(Tuple2<String, Integer> value) throws Exception {
Tuple2<Integer, String> rst = new Tuple2<>(value._2(), value._1());
return rst;
}
}).sortByKey(false);
//保存结果
result.saveAsTextFile("src/main/resources/result");
}
}
- 对于程序中用到的几种数据结构
JavaPairRDD: 可以理解为java中的List<Pair<Object, Object>>
Tuple2: 可以理解成一个Pair<Object, Object>,是一个元组类型:(a,b)这种结构
- 涉及到的方法:
JavaSparkContext : textFile(String Path) : 读取文件,path可以是一个文件,也可以是一个目录
flatMapToPair : 是一个遍历过程,其可以对当前task中分发的数据进行遍历处理,具体处理逻辑用户自定义在call()方法中,wordcount 程序中是进行单词的切分操作,赋予每个单词的频率为1 。 flatMapToPair参数有三个,第一个是输入,第二个和第三个是返回的Pair中的第一个和第二个参数。
reduceByKey :按照key reduce操作。如何reduce也在call 方法中实现。