spark的wordcount-java版本与scala版本

scala版本
package com.bjsxt.myscalacode

import org.apache.spark.{SparkConf, SparkContext}

object SparkWordCount {

def main(args: Array[String]): Unit = {

val conf = new SparkConf()

conf.setMaster("local")
conf.setAppName("sparkwordCount")
//简化流程
new SparkContext(conf).textFile("./data/words").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).foreach(println)

下面为流程代码
// //新建sprak的配置文件
// val conf = new SparkConf()
// //配合spark为本地模式
// conf.setMaster(“local”)
// conf.setAppName(“sparkwordCount”)
// //得到spark的上下文
// val sc = new SparkContext(conf)
// //RDD相当于list数据集合 textFile方法相当于1行1行的读取数据{“hello hadoop”“hello spark”}
// val lines: RDD[String] = sc.textFile("./data/words")
// //把{“hello hadoop”“hello spark”}数据集合使用flatmap ：压扁扁平,先map再flat变为{“hello”，“hadoop”，“hello”，“spark”}
// val word: RDD[String] = lines.flatMap(x => {x.split(" ")})
// //再把每个集合{“hello”，“hadoop”，“hello”，“spark”}变为一个2元元组（hello，1）（hadoop，1），，，，，
// val pairWord: RDD[(String, Int)] = word.map(word => {new Tuple2(word , 1)})
// //求和（hello，1）（hadoop，1） （hello，1），，，，，变为（hello，3）等。使用聚合统计reduceByKey，或者
// /*
// reduceByKey
// 先分组，然后在对value进行操作
// */
// val pairWords: RDD[(String, Int)] = pairWord.reduceByKey((v1, v2)=>{v1+v2})
// pairWords.foreach(x => {
// println(x)
// })
// sc.stop()
//

}

}
java代码

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.*;
import scala.Tuple2;

import java.util.Arrays;
import java.util.Iterator;

public class JavaWordCount {

public static void main(String[] args){
    SparkConf conf = new SparkConf();
    conf.setMaster("local");
    conf.setAppName("JavaWordCount");
    JavaSparkContext sc = new JavaSparkContext(conf);
    JavaRDD<String> lines = sc.textFile("./data/words");
    JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
        @Override
        public Iterator<String> call(String lines) throws Exception {
            return Arrays.asList(lines.split(" ")).iterator();
        }
    });
    JavaPairRDD<String, Integer> pairWords = words.mapToPair(new PairFunction<String, String, Integer>() {
        @Override
        public Tuple2<String, Integer> call(String words) throws Exception {
            return new Tuple2<>(words, 1);
        }
    });
    JavaPairRDD<String, Integer> result = pairWords.reduceByKey(new Function2<Integer, Integer, Integer>() {
        @Override
        public Integer call(Integer v1, Integer v2) throws Exception {
            return v1 + v2;
        }
    });
    result.foreach(new VoidFunction<Tuple2<String, Integer>>() {
        @Override
        public void call(Tuple2<String, Integer> result) throws Exception {
            System.out.println(result);
        }
    });


}

}