spark word count

package com.nassoft.spark;

import java.io.IOException;
import java.util.Arrays;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.api.java.function.VoidFunction;

import scala.Tuple2;

public class Main {

	public static void main(String[] args) throws IOException{
		// TODO Auto-generated method stub
				// 1 创建一个sparkconf 对象并配置
				// 使用setMaster 可以设置spark集群可以链接集群的URL，如果设置local 代表在本地运行而不是在集群运行
				SparkConf conf = new SparkConf()
						.setAppName("WordCountWithSpark");
//						.setMaster("local[2]");
				
				// 2 创建javasparkContext对象
				// sparkcontext 是一个入口，主要作用就是初始化spark应用程序所需的一些核心组件，例如调度器，task，
				// 还会注册spark，sparkMaster结点上注册。反正就是spake应用中最重要的对象
				JavaSparkContext sc = new JavaSparkContext(conf);
				// 3 对输入源创建一个出事RDD
				// 元素就是输入源文件中的一行
				//JavaRDD<String> lines = sc.textFile("F://message_info.log");
				//JavaRDD<String> lines = sc.textFile("hdfs://spark:9000//tmp//run.sh");
				JavaRDD<String> lines = sc.textFile("file:///usr/hdp/2.5.5.0-157/spark/bin/beeline");

				// 4 把输入源拆分成一个一个的单词
				// 引用一个RDD 都会创建一个function 类（比较简单的话就是一个匿名内部类）
				// FlatMapFunction 有连个参数输入和输出
				JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {

					private static final long serialVersionUID = 1L;

					
					public Iterable<String> call(String arg0) throws Exception {
						// TODO Auto-generated method stub
							
						return Arrays.asList(arg0.split(" "));
					}
				}).flatMap(new FlatMapFunction<String, String>() {
					
					private static final long serialVersionUID = 1L;

					@Override
					public Iterable<String> call(String arg0) throws Exception {
						// TODO Auto-generated method stub
						return Arrays.asList(arg0.split("\t"));
					}
					
				}).flatMap(new FlatMapFunction<String, String>() {

					private static final long serialVersionUID = 1L;

					@Override
					public Iterable<String> call(String arg0) throws Exception {
						// TODO Auto-generated method stub
						return Arrays.asList(arg0.split("\\."));
					}
					
				});
				// 5 需要将每一个单词映射为（单词，1） 后面才可以更具单词key 对后面value 1 进行累加从而达到计数的功能
				JavaPairRDD<String, Integer> parirs = words.mapToPair(new PairFunction<String, String, Integer>() {

					/**
					 * 每一个单词都映射成(单词，1)
					 */
					private static final long serialVersionUID = 1L;

					
					public Tuple2<String, Integer> call(String arg0) throws Exception {
						// TODO Auto-generated method stub
						return new Tuple2<String, Integer>(arg0, 1);
					}
				});
				// 6 以单词做为key 统计单词出现的次数，用reducebykey 算子，对每一个key对于的value进行操作
				JavaPairRDD<String,Integer> wordcount = parirs.reduceByKey(new Function2<Integer, Integer, Integer>() {

					private static final long serialVersionUID = 1L;

					public Integer call(Integer arg0, Integer arg1) throws Exception {
						// TODO Auto-generated method stub
						return arg0+arg1;
					}
				});
				
				// 7 已经通过spark 的几个算子 flatMap，mapToPair，reduceByKey 已经统计出每一个结点中的单词出现的次数
				// 这中操作叫做transformation，但是在一开始的RDD是把文件拆分打散到不同的结点中的，所以后面还需要操作action 进行集合
				// 9 action 操作通过foreach 来遍历所有最后一个RDD生成的元素
				wordcount.foreach(new VoidFunction<Tuple2<String,Integer>>() {

					private static final long serialVersionUID = 1L;

					@Override
					public void call(Tuple2<String, Integer> arg0) throws Exception {
						// TODO Auto-generated method stub
						System.out.println(arg0._1+" 出现了:"+arg0._2+"次");
					}
				});
				sc.close();							
			}
}