了解spark

最新推荐文章于 2024-07-31 13:16:03 发布

薛二娃

最新推荐文章于 2024-07-31 13:16:03 发布

阅读量372

点赞数

文章标签： spark 大数据 big data

本文链接：https://blog.csdn.net/xue1100/article/details/125339806

版权

Apache Spark是一个快速、通用的集群计算系统，提供Java、Scala、Python和R的高级API，支持Spark SQL、MLlib、GraphX和Spark Streaming等高级工具。Spark以其高效的DAG执行引擎和内存计算特性，对比MapReduce有显著速度优势。Spark广泛应用在大数据处理领域，如阿里云计算平台和京东推荐系统。其发展迅速，从诞生到成为Apache顶级项目仅用五年时间。

摘要由CSDN通过智能技术生成

一Spark简介

1、Apache Spark™ is a multi-language engine for executing data engineering, data science, and machine learning on single-node machines or clusters。
2、Apache Spark是一个快速通用的集群计算系统，是一种与Hadoop相似的开源集群计算环境，但是Spark在某些工作负载方面表现得更加优越。它提供了Java、Scala、Python和R的高级API，以及一个支持通用的执行图计算的优化引擎。它还支持一组丰富的高级工具，包括使用SQL进行结构化数据处理的Spark SQL、用于机器学习的MLlib、用于图处理的GraphX，以及用于实时流处理的Spark Streaming。

3、Spark作为下一代大数据处理引擎，现已成为当今大数据领域非常活跃、高效的大数据计算平台，很多互联网公司都使用Spark来实现公司的核心业务，例如阿里的云计算平台、京东的推荐系统等，只要和海量数据相关的领域，都有Spark的身影。Spark提供了Java、Scala、Python和R的高级API，支持一组丰富的高级工具，包括使用SQL进行结构化数据处理的SparkSQL，用于机器学习的MLlib，用于图处理的GraphX，以及用于实时流处理的Spark Streaming。这些高级工具可以在同一个应用程序中无缝地组合，大大提高了开发效率，降低了开发难度。