spark
爱吃龙虾的饼
这个作者很懒,什么都没留下…
展开
-
Spark-wordCount程序
object WordCount{ def main (args: Array[String]){ val conf = new SparkConf().setAppName("WC") val sc = new SparkContext(conf) val rdd1 = sc.textFile(args(0...原创 2019-05-14 20:53:30 · 109 阅读 · 0 评论 -
spark-常用算子
spark算子介绍Spark的算子的分类1、从大方向来说,Spark 算子大致可以分为以下两类:1)Transformation 变换/转换算子:这种变换并不触发提交作业,完成作业中间过程处理。Transformation 操作是延迟计算的,也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行,需要等到有 Action 操作的时候才会真正触发运算。2)Actio...转载 2019-05-14 17:28:35 · 862 阅读 · 0 评论 -
spark-原理总结
一、总体框架结构图由上图我们可以看到Spark应用程序架构主要由Driver Program和Executor构成,Driver负责运行main()和创建SparkContext,Executor主要负责执行Task任务。二、各大重要组件和概念2.1 重要概念概念 功能 Application 用户定义的Spark应用程序,用户提交后,Spark会为应用分配...转载 2019-05-14 20:40:58 · 336 阅读 · 0 评论