Spark

简介

Spark是使用Scala语言编写、基于内存运算的大数据计算框架。

以Spark core为核心，提供了Spark SQL、Spark Streaming、MLlib几大功能组件

中文文档：https://spark.apachecn.org/#/

github地址：https://github.com/apache/spark

Spark Core

Spark提供了多种资源调度框架，基于内存计算、提供了DAG的执行流程管理以及RDD的血缘关系来保证计算的快速和高容错性。RDD是Spark的核心概念

Spark SQL

SparkSQL基于Spark Core来优化sql查询，将sql的查询转为对应的RDD（DateFrame），并进行优化，简化了开发，提高了数据清洗的效率

Spark Streaming

SparkStreaming是基于SparkCore实现的流处理框架，通过微批的概念实现了流处理（DStream），可以将数据的延迟保证为最少500ms，是一个高吞吐高容错的流式处理框架。

从今天开始写一些关于Spark的文章，让自己每天都有所收获。

不只要作为使用者，更要去了解它。