spark
歆歆歆歆歆
这个作者很懒,什么都没留下…
展开
-
Spark-RDD编程
Spark-RDD编程 文章目录Spark-RDD编程1.1 RDD概述1.11定义1.12 属性1.13特点1.13.1 分区1.13.2 只读1.13.3 依赖1.13.4 缓存1.13.5 CheckPoint1.2 RDD模型1.3 RDD的创建三种方式1.3.1 集合中创建1.32 由外部系统创建RDD1.33 从其他创建RDD1.4 RDD的转换 (开发重点)1.41 Value类型...原创 2019-01-22 19:19:49 · 755 阅读 · 0 评论 -
Spark-RDD-Action
Spark-RDD-Action 1.1 Action Action算子不会再转成RDD算子,而是转出结果,之前的collect算子就是Action算子 1.11 reduce(func) 案例 作用:通过func函数聚集RDD中的所有元素,先聚合分区内数据,再聚合分区间数据。 需求:创建一个RDD,将所有元素聚合得到结果。 scala> val rdd1 = sc.parall...原创 2019-01-22 20:25:35 · 120 阅读 · 0 评论 -
spark核心题
Spark 面试题 1.Spark内置模块包括哪些?请分别简述其功能。 Spark Core:实现了Spark 的基本功能: 任务调度 内存调度 错误恢复 与存储系统交互 对RDD(Resilient Distributed DataSet)的API的定义 Spark SQL:是Spark用来操作结构化数据的程序包. 可以通过SQL或Hive版本的(HQL)查询数据. Spark ...原创 2019-03-19 18:08:44 · 955 阅读 · 0 评论