第10课：底实战详解使用Java开发Spark程序学习笔记（二）

最新推荐文章于 2024-05-04 07:19:45 发布

梦飞天

最新推荐文章于 2024-05-04 07:19:45 发布

阅读量2.5k

点赞数

分类专栏： Spark 文章标签： spark java

本文链接：https://blog.csdn.net/slq1023/article/details/50758902

版权

本文是关于使用Java开发Spark WordCount程序的学习笔记，详细介绍了如何从创建SparkConf到实现单词计数，包括JavaSparkContext的创建、数据读取、Transformation处理和结果输出。适合Spark初学者参考。

摘要由CSDN通过智能技术生成

Maven下的Spark配置：
http://maven.outofmemory.cn/org.apache.spark，这个网站提供了Spark core、Spark Streaming使用Maven时如何配置。

7.编写如下代码后点击右键run as -> java application，就可以运行了。

package com.dt.spark.SparkApps.cores;

import java.util.Arrays;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.api.java.function.VoidFunction;

import scala.Tuple2;

/**
* 使用Java的方式开发进行本地测试Spark的WordCount程序
* @author DT大数据梦工厂
* http://weibo.com/ilovepains
*/
public class WordCount {

public static void main(String[] args) {

/**
* 第1步：创建Spark的配置对象SparkConf，设置Spark程序的运行时的配置信息，
* 例如说通过setMaster来设置程序要链接的Spark集群的Master的URL,如果设置
* 为local，则代表Spark程序在本地运行，特别适合于机器配置条件非常差（例如
* 只有1G的内存）的初学者 *
*/
SparkConf conf = new SparkConf().setAppName("Spark WordCount written by Java").setMaster("local");

/**
* 第2步：创建SparkContext对象
* SparkContext是Spark程序所有功能的唯一入口，无论是