![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 94
努力生活的黄先生
这个作者很懒,什么都没留下…
展开
-
SparkCore--详细
文章目录一、Spark运行架构1.1 运行架构1.2 核心组件1.3 组件简单展示1.3.1 简单传输1.3.2 传输逻辑运算以及数据1.3.3 分布式计算1.4 核心概念二、Spark核心编程2.1 RDD弹性分布式数据集2.1.1 RDD 和 IO流2.1.2 RDD的特点2.1.3 RDD 核心属性2.1.4 RDD执行原理2.2 RDD基础2.2.1 RDD创建2.2.2 RDD 并行度与分区内存数据文件数据2.3 RDD 方法2.3.1 RDD转换算子2.3.1.1 Value类型2.3.1.2原创 2021-08-13 12:18:51 · 903 阅读 · 0 评论 -
Spark基本概念以及环境搭建
Spark基本概念一、什么是SparkApache Spark是用于大规模数据处理的统一分析引擎。Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark框架是基于Scala语言编写的。二、Spark 和 HadoopSpark和Hadoop有什么关系?从功能上来说:HadoopHadoop是由java语言编写的,在分布式集群当中存储海量数据,并运行分布式应用的开源框架作为 Hadoop 分布式文件系统,HDFS处于Hadoop生态圈的最下层,存储着所有的数据原创 2021-08-13 11:24:01 · 337 阅读 · 0 评论