大数据学习 Spark：有向无环图（DAG）检测

最新推荐文章于 2024-06-16 23:28:11 发布

金豆数据工程师

最新推荐文章于 2024-06-16 23:28:11 发布

阅读量1k

点赞数 1

分类专栏：大数据文章标签：大数据大数据学习大数据开发大数据入门人工智能

本文链接：https://blog.csdn.net/weixin_44386969/article/details/90212883

版权

本文介绍了Apache Spark作为大数据处理的快速计算引擎，其核心是RDD和有向无环图（DAG）的概念。RDD是只读的、容错的并行数据结构，而DAG则用于表达RDD之间的依赖关系。文章详细阐述了DAG的定义、入度和出度等概念，并探讨了DAG在任务调度和课程依赖中的应用，以及如何检测有向图中的环路问题。

摘要由CSDN通过智能技术生成

Spark 是一种与 Hadoop 相似的开源集群计算环境，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

在这里还是要推荐下我自己建的大数据学习交流群:957205962，群里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴加入。

Spark背景介绍

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark 是一种与 Hadoop 相似的开源集群计算环境，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

RDD，全称为Resilient Distributed Datasets，中文翻译弹性分布式数据集，是一个容错的、并行的数据结构，可以让用