本文介绍了Spark的基础知识，包括Spark的四大特点：速度快、易用性好、通用性强、运行方式多。Spark支持多种语言，提供Spark SQL、Streaming、GraphX和MLlib等工具库。Spark框架模块涵盖Spark Core、Spark SQL、Spark Streaming、Spark GraphX和Spark MLlib，其中Spark Core是基础，Spark SQL用于结构化数据，Spark Streaming处理实时数据，GraphX进行图计算，而MLlib支持机器学习。Spark通信框架使用Netty，提升了整体性能。
本篇文章开始介绍Spark基础知识，包括Spark诞生的背景，应用环境以及入门案例等，还是Spark学习之旅前，得先安装Spark环境才行，具体安装步骤可以看Spark环境搭建，让我们接着往下聊。
Spark是Apache顶级的开源项目，主要用于处理大规模数据的分析引擎，该引擎的核心数据结构是RDD弹性分布式数据集，这是一种分布式内存抽象，程序员可以使用RDD在大规模集群中做内存运算，并具有一定的容错方式；
Spark保留了MapReduce的分布式并行计算的优点，还改进了其较为明显的缺陷，中间数据存储在内存中，大大提高了运行速度，同时还提供了丰富的API，提高了开发速度。
3485
1697
512
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
超级会员免费看
订阅专栏 解锁全文
