spark简介

最新推荐文章于 2023-05-29 20:09:53 发布

小黄鸭and小黑鸭

最新推荐文章于 2023-05-29 20:09:53 发布

阅读量261

点赞数

分类专栏：大数据生态圈 spark学习笔记

本文链接：https://blog.csdn.net/qq_29721419/article/details/82353174

版权

21 篇文章 1 订阅

订阅专栏

8 篇文章 0 订阅

订阅专栏

学习教程：

目前按照大数据处理类型来分大致可以分为：批量数据处理、交互式数据查询、实时数据流处理，这三种数据处理方式对应的业务场景也都不一样；

　　Hadoop适用于Map、Reduce存在的任何场景，具体场景比如：WordCount、排序、PageRank、用户行为分析、数据统计等，而这些场景都算是批量数据处理，而Hadoop并不适用于交互式数据查询、实时数据流处理；

这时候就出现了各种数据处理模型下的专用框架如：Storm、Impala、GraphLab等；

1、Storm：针对实时数据流处理的分布式框架；

2、Impala：适用于交互式大数据查询的分布式框架；

3、GraphLab：基于图模型的机器学习框架；

这时候如果一个团队或一个公司中同时都有设计到大数据批量处理、交互式查询、实时数据流处理这三个场景；这时候就会有一些问题：
　　
1. 学习成本很高，每个框架都是不同的实现语言、不同的团队开发的；
1. 各个场景组合起来代价必然会很大；
1. 各个框架中共享的中间数据共享与移动成本高；

- SparkCore：将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。

SparkSQL：Spark Sql 是Spark来操作结构化数据的程序包，可以让我使用SQL语句的方式来查询数据，Spark支持多种数据源，包含Hive表，parquest以及JSON等内容。
SparkStreaming：是Spark提供的实时数据进行流式计算的组件。
MLlib：提供常用机器学习算法的实现库。
GraphX：提供一个分布式图计算框架，能高效进行图计算。
BlinkDB：用于在海量数据上进行交互式SQL的近似查询引擎。
Tachyon：以内存为中心高容错的的分布式文件系统。

RDD支持两种操作：

转换（transformation operation）转换操作将一个RDD经过操作后返回一个全新的RDD，转换操是lazy（惰性）的这期间不会产生任何数据的计算；

转换函数有：distinct、filter、map、flatMap、union、groupByKey等；
- 行动（action operation）每一个行动操作都会触发Spark Job进行计算并返回最终的结果，

行动操作有这么几类：返回标量，count返回元素的个数；返回Scala集合，task(n)返回0到n-1组成的集合；写入外部存储，saveAsHadoopFile(path)存储到HDFS；

行动函数有：count、top、task、saveAsHadoopFile等；

RDD为不可变的数据集，可以使用转换操作“修改”一个RDD，但这操作过后返回的是一个全新的RDD 原本RDD并没有改变；

关注