积一时之步，臻千里之遥程

工作笔记 Spark SQL 浅学笔记1 前面提到：Hive是将SQL转为MapReduce，而SparkSQL可以理解成是将SQL解析成RDD + 优化再执行 对于开发人员来讲，SparkSQL 可以简化 RDD 的开发，提高开发效率，且执行效率非常快，所以实际工作中，基本上采用的就是> SparkSQL。Spark SQL 为了简化 RDD 的开发，提高开发效率，提供了 2 个编程抽象，类似 Spark Core 中的RDD ➢ DataFrame ➢ DataSet Spark 中的模.

工作学习笔记 首先复习了一下 Spark 简介 Spark是什么 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Spark and Hadoop(Mapleduce ) Hadoop的 Mapleduce 已经是不错的计算框架了，为什么还要学习新的计算框架Spark呢？ 首先明确 Spark 与 Hadoop中的MapReduce 是完全不同的计算引擎。两者各自存在的目的不尽相同。 Hadoop是由java语言编写的，包括HDFS分布式数据存储功能，还有MapRecue的数据计.

学习笔记 文章目录1 Spark 概述1.1 Spark是什么1.2 Spark and Hadoop(Mapleduce )1.3 Spark核心模块2 Spark快速上手2.1 WordCount案例2.1.1 实现方法一2.1.2 实现方法二2.2 WordCount案例中的Spark实现 1 Spark 概述 1.1 Spark是什么 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 1.2 Spark and Hadoop(Mapleduce ) Hadoop的 Mapl.