hiliang521的博客

【报错】spark序列化报错：Kryo serialization failed: Buffer overflow

【spark RDD】spark 之 Kryo序列化框架

【spark（零）】spark技术概览

【spark客户端】Spark SQL CLI详解：怎么执行sql文件、注释怎么写，支持的文件路径协议、交互式模式使用细节

【spark streaming】spark（九）Spark Streaming Programming Guide：概述、wordcount、数据源、trans（常见算子、window）、输出源

【spark sql】sparkSQL概述：dataFrame、DataSet、UDF、SparkSQL数据源

【shuffle/内存模型】超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面

【变量】spark（六）变量共享：累加器和广播变量

【算子3】spark（五）：spark core：控制算子（cache、persist）、action算子和检查点

【算子2】spark（四）：spark core：trans算子中key-value类型的算子使用说明

接下来的篇章我们会介绍不同类型的算子，本文介绍trans算子中value类型的算子使用。

通过了解RDD的概念、特点、以及以一个scala程序快速认识RDD

a. spark是继Hadoop的MapReduce之后，最具影响的大数据框架之一。与Hadoop相比，Spark基于Mapreduce将计算的中间结果内存化并引入DAG（有向无环图）执行引擎。是对Mapreduce的重大改进，中间数据压缩保存到内存，运算时间会比磁盘低两个数量级。是对RDD的建模，描述了RDD之间的依赖关系。b. Spark生态系统是以Spark core（RDD）为核心提供计算框架。