spark
文章平均质量分 80
停不下的脚步
这个作者很懒,什么都没留下…
展开
-
spark structure streaming
国内关于flink的demo较多,我是工作中选择的是spark structure streaming,watermark、append模式、update模式、检查点、sink、source基本都有涵盖。下面的示例主要讲的是消费kafka的数据,根据不同的维度计算度量值。 package cn.swiftpass.spark.streaming; import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import o原创 2020-09-14 00:23:49 · 610 阅读 · 0 评论 -
spark常用RDD介绍及Demo
Transformation: map(func): Return a new distributed dataset formed by passing each element of the source through a function func. val list=sc.parallelize(List(('a',1),('a',2),('b',3),('b',4)))原创 2015-06-02 20:47:18 · 1470 阅读 · 0 评论 -
调试spark源码
目标:可以在spark源码内打断点调试,比如我们可以看flatMap方法内部运行。 环境: spark 1.4 intellij idea mac os 第一步:下载spark源码 url:http://spark.apache.org/downloads.html 第二步:编译spark 进入下载好的spark的根目录执行: ./sbt/sbt gen-idea原创 2015-06-22 20:17:41 · 1228 阅读 · 0 评论