snail_bing的博客

特性概览 官方release note： https://spark.apache.org/releases/spark-release-3-0-0.html https://spark.apache.org/docs/3.0.0/core-migration-guide.html http://spark.apache.org/releases/spark-release-3-0-2.html 1.Adaptive Query Execution - [SPARK-31412] 2.Dyna

目录 RDD介绍 RDD入门示例 查看RDD RDD操作 DAG介绍 RDD的依赖关系 窄依赖 宽依赖 Shuffle概述 RDD介绍 Resilient Distributed Datasets（弹性分布式数据集，简称RDD），特点是可以并行操作，并且是容错的。 有两种方法可以创建RDD： 1）执行Transform操作（变换操作）； 2）读取外部存储系统的数据集，...

目录 Spark介绍 Spark VS MapReduce MapReduce存在的问题 Hadoop 的MapReduce 为什么不使用内存存储？ Spark的优势 Spark单机模式安装 安装步骤： Spark单机模式启动 Spark介绍 Spark是UC Berkeley AMP lab (加州大 学伯克利分校的AMP实验室)所开源的，后贡献给Apache。是一种快...