官网学习
文章平均质量分 79
段渣渣
这个作者很懒,什么都没留下…
展开
-
Spark中的Data Sources (数据源)【官网学习摘录笔记】
版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ Spark中的Data Sources (数据源)Spark SQL 支持通过 DataFrame 接口对各种 data sources (数据源)进行操作. DataFrame 可以使用 relational transformations (关系转换)操作, 也可用于创建 temporary view (临时视图)....原创 2018-06-28 11:29:11 · 677 阅读 · 0 评论 -
Spark中的Accumlators(累加器)【官网学习摘录笔记】
版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ Spark中的Accumlators(累加器)Accumulators(累加器)是一个仅可以执行 “added”(添加)的变量来通过一个关联和交换操作,因此可以高效地执行支持并行。累加器可以用于实现 counter( 计数,类似在 MapReduce 中那样)或者 sums(求和)。原生 Spark 支持数值型的累加器,...原创 2018-06-28 11:31:29 · 584 阅读 · 0 评论 -
foreachRDD 设计模式的使用【官网学习摘录笔记】
版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ foreachRDD 设计模式的使用首先来看看这个算子的的功能 foreachRDD(func) :对从流中生成的每个 RDD 应用函数 func 的最通用的输出运算符. 此功能应将每个 RDD 中的数据推送到外部系统, 例如将 RDD 保存到文件, 或将其通过网络写入数据库. 请注意, 函数 func 在运行流...原创 2018-07-03 20:47:14 · 477 阅读 · 0 评论