Spark
夏夏夏果
夏
展开
-
Spark(三)【Spark核心RDD,SparkOnYarn】
在上一篇文章中,讲了Spark的简单应用开发,在构建数据源的时候,返回了一个RDD对象,所有对数据的操作,都是在这个对象中进行操作,RDD对象是Spark中至为核心的组件,这篇文章就一起来谈谈Spark RDD (resilient distributed dataset) 什么是RDD? RDD( resilient distributed dataset ) 弹性分布式数据集;RDD代表是一个...原创 2020-01-14 21:38:33 · 135 阅读 · 0 评论 -
Spark(二)安装 应用 原理刨析
Spark 伪分布式集群环境搭建 Shell命令开发WordCount Application Java API 开发WordCount Application原创 2020-01-13 20:52:49 · 136 阅读 · 0 评论 -
Spark 入门 (一)
文章目录Spark特点官方文档 Spark Apache Spark 是一个快如闪电的统一分析引擎(并没有提供数据存储的方案)Lightning-fast unified analytics engine 快如闪电(相比于传统的大数据处理方案MapReduce): Spark将一个复杂的计算任务Job拆分为多个细粒度的Stage,每一个Stage都可以分布式并行计算;对于MapReduce初代...原创 2020-01-13 20:50:44 · 123 阅读 · 0 评论