Spark 笔记
Spark概述:
Spark在2013年6月发行,早于Yarn的发行,所以内置一套资源调度框架。
Spark基于内存进行数据的分析计算,中间过程只要不涉及Shuffle就不会落盘,减少了磁盘IO,所以性能更高。
Spark 内置模块:
Spark Core: 封装了RDD的API,实现Spark基本不功能,即任务调度、内存管理、错误恢复、与存储系统交互。
Spark SQL :是Spark用来操作结构化数据的程序包。
Spark Streaming:用于实时数据的流式计算,提供了操作数据...
原创
2021-04-13 15:57:48 ·
422 阅读 ·
0 评论