spark
胖胖大海
这个作者很懒,什么都没留下…
展开
-
Spark常用action算子操作 —— Java版
collect算子 package rddDemo.action; import org.apache.spark.SparkConf ; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext ; import org.apache.spark.api.ja...原创 2018-07-20 20:04:40 · 524 阅读 · 0 评论 -
Spark常用transformation算子操作 —— Java版
cartesian算子 package rddDemo.transformation; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api...原创 2018-07-20 20:15:27 · 806 阅读 · 0 评论 -
Spark常用action算子操作 —— Scala版
collect算子 package rddDemo.action import org.apache.spark.{SparkConf, SparkContext} /** * Created by asus on 2018/6/17. * transformation 算子collect * 将数据从各从节点fetch到driver端进行集中处理(慎用) */ ob...原创 2018-07-21 08:47:24 · 1382 阅读 · 0 评论 -
Spark实现分组取 top N 示例 —— Java版
主要步骤: 加载集合生成RDD(textFile) 对RDD进行转换,将要排序的属性进行分离,生成新的RDD(mapToPair) 对键进行分组,并在分组内基于第二步分离出的属性进行排序,并取排序结果的 top N (groupByKey,mapToPair) package rddDemo.examples; import org.apache.spark.SparkConf; imp...原创 2018-07-29 20:38:11 · 864 阅读 · 0 评论 -
Spark实现分组取 top N 示例 —— Scala版
主要步骤: 加载集合生成RDD(textFile) 对RDD进行转换,将要排序的属性进行分离,生成新的RDD(map) 对键进行分组,并在分组内基于第二步分离出的属性进行排序,并取排序结果的 top N (groupByKey,map) package rddDemo.examples import org.apache.spark.{SparkConf, SparkContext} ...原创 2018-07-29 20:40:15 · 1783 阅读 · 0 评论 -
Spark常用transformation算子操作 —— Scala版
cartesian算子 package rddDemo.transformation import org.apache.spark.{SparkConf, SparkContext} /** * 笛卡尔积 cartesian 算子 * Created by asus on 2018/7/15. */ object CartesianDemo { def main(a...原创 2018-07-22 19:16:32 · 703 阅读 · 0 评论