大数据--Spark简介

最新推荐文章于 2024-08-16 14:59:31 发布

LV_ZFG

最新推荐文章于 2024-08-16 14:59:31 发布

阅读量2.5k

点赞数 1

分类专栏： Spark

本文链接：https://blog.csdn.net/LV_ZFG/article/details/81901467

版权

Apache Spark 是一种快速通用的集群计算系统，提供多种高级API用于数据处理，包括SQL、MLlib、GraphX和Spark Streaming。它支持本地、standalone、mesos、yarn四种运行模式，具有内存计算和DAG执行的优势，比MapReduce更快，同时具备高容错性。Spark的体系架构包括数据存储、API和管理框架，其核心是基于内存的迭代运算和RDD抽象，以提高效率和容错能力。

摘要由CSDN通过智能技术生成

在刚接触大数据的时候，我们主要接受的是关于hadoop的相关知识，虽然比较浅显，但是基本介绍了hadoop每一个过程或者组建的运行的原理以及架构，包括优缺点以及他的使用场景，例如hdfs、mapreduce、zookeeper以及hive、hbase等，但是，在这之后，为了满足大数据的增长需求以及更好的对数据进行处理得到数据中的有用信息，很多的时间场景下，Hadoop的计算速度以及模式已经不能完全的满足计算分析的需求，所以，在hadoop的基础上，我们增加了另外一个新的技术===spark

什么是spark呢？

在spark的官方网站上对于spark是这样定义的=Apache Spark是一种快速通用的集群计算系统。它提供Java，Scala，Python和R中的高级API，以及使用最先进的DAG调度，查询优化器和物理执行引擎，实现了在数据处理方面的一个高速和高性能，而且spark中封装了大量的库，例如 SQL和DataFrames，MLlib机器学习，GraphX和spark Streaming 可以在应用程序中直接使用在这个库，而且，为了实现spark的通用性，目前spark支持local、standalone、mesos、yarn