Spark算子系列
文章平均质量分 87
天下第一黑鬼_Big Data
大数据
展开
-
15、Spark_RDD算子——AggregateByKey
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-12 21:25:39 · 171 阅读 · 0 评论 -
14、Spark_RDD算子——CombineByKey_ReduceByKey转换
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-12 21:23:08 · 115 阅读 · 0 评论 -
13、Spark_RDD算子——CombineByKey_GroupByKey转换
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-12 21:11:36 · 172 阅读 · 1 评论 -
12、Spark_RDD算子——MapPartitionWithIndex
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-12 21:09:21 · 325 阅读 · 0 评论 -
11、Spark_RDD算子——CoalesceAndRepartition
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-12 21:07:27 · 75 阅读 · 0 评论 -
10、Spark_RDD算子——MapPartition
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-10 17:19:47 · 247 阅读 · 0 评论 -
9、Spark_RDD算子——SortByKey
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-10 17:17:30 · 240 阅读 · 0 评论 -
8、Spark_RDD算子——GroupByKey
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-10 09:03:14 · 247 阅读 · 1 评论 -
7、Spark_RDD算子——Join
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-10 08:59:25 · 282 阅读 · 2 评论 -
6、Spark_RDD算子——Distinct
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-10 08:55:50 · 154 阅读 · 0 评论 -
5、Spark_RDD算子——Union
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-10-10 08:52:55 · 351 阅读 · 0 评论 -
4、Spark_RDD算子——sample
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-09-29 08:56:48 · 222 阅读 · 0 评论 -
3、Spark_RDD算子——filter
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-09-23 19:56:02 · 233 阅读 · 0 评论 -
2、Spark_RDD算子——flatMap
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext原创 2020-09-23 19:53:37 · 158 阅读 · 0 评论