Spark是一个基于内存计算的分布式大数据处理框架，相比Hadoop具有更快的运行速度和更低的延迟。它支持多种编程语言，提供通用的技术栈，包括SQL、流式计算和机器学习。Spark适用于数据处理、迭代计算、数据挖掘和交互式分析，尤其适合需要多次数据复用的场景。Spark在性能上远超Hadoop，其内存存储机制和DAG执行引擎使其在批处理和迭代计算中表现出色。
Spark简介：
***大数据（big data），***指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
对于一开始学习的hadoop，spark相较而言在近几年中流行起来，甚至有追赶上hadoop的趋势。
Spark最初由美国加州伯克利大学（UCBerkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。
2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一（Hadoop、Spark、Storm）。
Spark在2014年打破了Hadoop保持的基准排序纪录
Spark/206个节点/23分钟/100TB数据
Hadoop/2000个节点/72分钟/100TB数据
Spark用十分之一的计算资源，获得了比Hadoop快3倍的速度。
Spark具有如下几个主要特点：
运行速度快：使用DAG执行引擎以支持循环数据流与内存计算。
容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程。
通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件。
运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBas
最低0.47元/天 解锁文章
8054
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
