spark
我是60岁程序员
比你优秀的人还在奔跑,我为什么要停下来
展开
-
爬坑:spark项目打包报错(java和scala混编)
项目打包:mvn clean package -DskipTests java和scala混编打包 报错: /Users/rocky/source/work/sparktrain/src/main/scala/com/zoujc/spark/project/dao/CourseSearchClickCountDao.scala 把pom.xml文件中<build>下指定sourceD...原创 2018-10-14 20:47:58 · 1010 阅读 · 0 评论 -
spark计算用户访问学科子网页的top3
项目说明:附件为要计算数据的demo。点击打开链接 利用spark的缓存机制,读取需要筛选的数据,自定义一个分区器,将不同的学科数据分别放到一个分区器中,并且根据指定的学科,取出点击量前三的数据,并写入文件。 具体程序如下: 1、项目主程序: package cn.allengao.Location import java.net.URL ...转载 2018-10-31 10:32:36 · 316 阅读 · 0 评论 -
spark算子详解
combineByKey(createCombiner, mergeValue, mergeCombiners, partitioner) 定义: def combineByKey[C]( createCombiner: V =&gt; C, mergeValue: (C, V) =&gt; C, mergeCombiners: (C, C) =&gt;...转载 2018-10-31 10:40:26 · 237 阅读 · 0 评论 -
spark常用算子
import org.apache.spark.{SparkConf, SparkContext} /** * @author zoujc * @date 2018/10/31 */ object LearnRDD { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf()....原创 2018-10-31 18:16:09 · 122 阅读 · 0 评论 -
spark高级算子(一)
import org.apache.spark.{SparkConf, SparkContext} /** * @author zoujc * @date 2018/11/1 */ object SparkRDDTest1 { def main(args: Array[String]): Unit = { val conf = new SparkConf().set...原创 2018-11-01 14:50:59 · 375 阅读 · 0 评论 -
spark高级算子(二)
import org.apache.spark.{SparkConf, SparkContext} /** * @author zoujc * @date 2018/11/1 */ object SparkTest2 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setApp...原创 2018-11-01 17:09:33 · 256 阅读 · 0 评论 -
spark算子系列文章
&a转载 2018-11-02 17:51:19 · 103 阅读 · 0 评论 -
spark分组取topN
准备数据: aa 11 bb 11 cc 34 aa 22 bb 67 cc 29 aa 36 bb 33 cc 30 aa 42 bb 44 cc 49 import org.apache.spark.{SparkConf, SparkContext} /** * @author zoujc * @date 2018/11/15 */ object topN { def main...原创 2018-11-15 17:34:42 · 420 阅读 · 0 评论 -
spark中常用算子含义及区别
Transform: 1. map:rdd中的每项数据进行map里的操作后,会形成一个个新的元素的新rdd flatMap:在map的基础上进行扁平化,形成一个新的rdd 2. distinct:转换操作,去重 filter:对rdd中的元素进行过滤 filterByRange:范围过滤,作用于键值对RDD,对RDD中元素进行过滤,返回键在指定范围内的元素 3. union:并集操作,不去重 i...原创 2018-11-12 17:37:48 · 2301 阅读 · 0 评论