本文介绍了Spark作为大数据并行计算框架的基础，强调其内存计算速度、易用性和通用性。对比了MapReduce与Spark的区别，并概述了Spark生态系统、基本概念以及架构设计，包括RDD、DAG和Stage等核心概念。
Spark基础：第一章 spark概述
-------------------------------spark guide-----------------------------------
文章目录
一、spark是什么？
- 基于内存计算的大数据并行计算框架
- 背景
(1) 于2009年开发，可用于构建大型的、低延迟的数据分析应用程序。
(2) 2013年Spark加入apache孵化器项目，如今是apache软件三大分布式计算系统开源项目之一（Hadoop、spark、storm）-> 批处理batch和流数据streaming data - 大数据分析引擎
- 底层操作的是RDD
二、为什么用spark？
1. 特点
(1) 运行速度快
使用DAG执行引擎以支持循环数据流与内存计算
(2) 容易使用
支持Scala、Java、python和R语言等进行编程，可以通过spark shell进行交互式编程（REPL）
(3) 通用性
一栈式，包括SQL查询、流式计算、机器学习和图算法组件
最低0.47元/天 解锁文章
321
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
