spark
胖胖大海
这个作者很懒,什么都没留下…
展开
-
Spark常用action算子操作 —— Java版
collect算子 package rddDemo.action;import org.apache.spark.SparkConf ;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext ;import org.apache.spark.api.ja...原创 2018-07-20 20:04:40 · 515 阅读 · 0 评论 -
Spark常用transformation算子操作 —— Java版
cartesian算子 package rddDemo.transformation;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api...原创 2018-07-20 20:15:27 · 796 阅读 · 0 评论 -
Spark常用action算子操作 —— Scala版
collect算子 package rddDemo.actionimport org.apache.spark.{SparkConf, SparkContext}/** * Created by asus on 2018/6/17. * transformation 算子collect * 将数据从各从节点fetch到driver端进行集中处理(慎用) */ob...原创 2018-07-21 08:47:24 · 1369 阅读 · 0 评论 -
Spark实现分组取 top N 示例 —— Java版
主要步骤:加载集合生成RDD(textFile) 对RDD进行转换,将要排序的属性进行分离,生成新的RDD(mapToPair) 对键进行分组,并在分组内基于第二步分离出的属性进行排序,并取排序结果的 top N (groupByKey,mapToPair)package rddDemo.examples;import org.apache.spark.SparkConf;imp...原创 2018-07-29 20:38:11 · 853 阅读 · 0 评论 -
Spark实现分组取 top N 示例 —— Scala版
主要步骤:加载集合生成RDD(textFile) 对RDD进行转换,将要排序的属性进行分离,生成新的RDD(map) 对键进行分组,并在分组内基于第二步分离出的属性进行排序,并取排序结果的 top N (groupByKey,map)package rddDemo.examplesimport org.apache.spark.{SparkConf, SparkContext}...原创 2018-07-29 20:40:15 · 1774 阅读 · 0 评论 -
Spark常用transformation算子操作 —— Scala版
cartesian算子 package rddDemo.transformationimport org.apache.spark.{SparkConf, SparkContext}/** * 笛卡尔积 cartesian 算子 * Created by asus on 2018/7/15. */object CartesianDemo { def main(a...原创 2018-07-22 19:16:32 · 695 阅读 · 0 评论