这篇文章能让你对于高性能Spark的理解更上一层楼

引言：摘抄自《中国新通信》： 近年来，大数据成为工业界与学术界关注的热点，因为随着存储设备容量的快速增长、CUP外理能力的大幅提开，网络带宽的不断增加。也为大数据时代提共了强有力的技术支撑。从web1.0到web2.0，每个用户都成为一个自媒体，一个互联网内容的提供者，这样数据产生方式的变革更是推动着大数据时代的到来。”

什么是大数据呢？

大数据是由结构化与非结构化数据组成的，其中10%为结构化数据，存储于各类数据库中，90%为非结构化数据，非结构化数据如图片、视频、邮件、网页等，现如今，大数据应用以渗透到各行各业，数据驱动决策，信息社会智能化程度大幅提高。目前，国内相关技术主要集中在数据挖掘相关算法、实际应用及有关理论方面的研究，涉及行业比较广泛，包括零售业、制造业、金融业、电信业、网络相关专业、医疗保健及科学领域，单位集中在部分高等院校、研究所和公司，特别是在it等新兴领域，阿里巴巴、腾讯、百度等巨头对技术发展推动作用巨大，而这些互联网巨头们在大数据处理中，又纷纷采用了hadoop、spark这一处理框架。

什么是Spark呢？

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势：

• Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。
• 官方资料介绍Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍。
  

架构及生态：

什么是Spark生态系统呢？Spark生态系统称为BDAS（伯努利数据分析栈），本文旨在简单介绍Spark生态系统中一些常用的组件，让大家对Spark生态系统（BDAS）有个简单的了解，知道什么组件能做什么事

组件介绍

• Spark Core：Spark的核心组件，其操作的数据对象是RDD（弹性分布式数据集），图中在Spark Core上面的四个组件都依赖于Spark Core，可以简单认为Spark Core就是Spark生态系统中的离线计算框架，eg：Spark Core中提供的map，reduce算子可以完成mapreduce计算引擎所做的计算任务。
• Spark Streaming：Spark生态系统中的流式计算框架，其操作的数据对象是DStream，其实Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark Core，也就是把Spark Streaming的输入数据按照batch size（批次间隔时长）（如1秒）分成一段一段的数据系列（DStream），每一段数据都转换成Spark Core中的RDD，然后将Spark Streaming中对DStream的转换计算操作变为针对Spark中对RDD的转换计算操作，如下官方提供的图：
  在内部实现上，DStream由一组时间序列上连续的RDD来表示。每个RDD都包含了自己特定时间间隔内的数据流（如上图中0到1秒接收到的数据成为一个RDD,1到2秒接收到的数据成为一个RDD）,使用Spark Streaming对图中DStream的操作就会转化成使用Spark Core中的对应算子（函数）对Rdd的操作。
• Spark Sql：可以简单认为可以让用户使用写SQL的方式进行数据计算，SQL会被SQL解释器转化成Spark core任务&#x