2017年12月_graphnj

12月 03月

原创 Spark笔记4-编程模型map/repartitions等

njzhujinhua 2017-12-17《图解Spark-核心技术与案例实战》 - 郭景瞻5转换操作51 基础转换操作mapdistinctflatMapcoalescerepartitionmapPartitionsmapPartitionsWithIndex3.5.转换操作3.5.1 基础转换操作map/distinct/flatMapmap[U](f:(T)=>U):RDD[T]

2017-12-18 00:08:51 634

原创 Spark入门3-RDD的实现

njzhujinhua@2017/12/15RDD的实现1 作业调度2 内存管理3 cache persist 与checkpoint的关系cache与persistcachepersist与checkpoint1. RDD的实现1.1 作业调度当对RDD执行转换操作时，调度器根据RDD的血统Lineage构建若干调度阶段Stage组成的有向无环图DAG，每个Stage包含尽可能多的连续

2017-12-15 01:11:33 397

原创 Spark入门2-了解RDD

朱金华 njzhujinhua 2017/12/05简介1 特性RDD编程模型1 编程模型2 RDD的操作源码实现1 RDD朱金华 njzhujinhua 2017/12/051. 简介在RDD诞生之前的分布式计算框架缺乏对分布式内存的抽象和支持，需要用到数据交换时都是要写到存储中去，RDD模型的产生动机也主要来源于两种主流的应用场景： * 迭代式算法：迭代式机器学习，图算法，K

2017-12-11 23:48:04 420

原创 Spark入门1-使用Spark-shell交互分析

Spark入门1-使用Spark-shell交互分析朱金华 njzhujinhua 2017/12/03Spark入门1-使用Spark-shell交互分析文件读取1 读取RDD方式2 读取Dataset方式查看文件1 查看内容2 WordCount本系列以Spark2.2.0版本为依据整理。第一节通过Spark交互式shell熟悉其计算过程。在2.0版本之前，Spark的主要编程接口

2017-12-04 07:45:55 5175