weixin_45064902的博客

原创 Spark架构以及工作原理

Spark发布了多个基于RDD功能编写的应用库 Spark Core： 包含Spark的基本功能，包含任务调度，内存管理，容错机制等，内部定义了RDDs(弹性分布式数据集)，提供了很多APIs来创建和操作这些RDDs。为其他组件提供底层的服务。 Spark SQL： Spark处理结构化数据的库，就像Hive SQL,Mysql一样，企业中用来做报表统计。 Spark Streamin...