![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
yangyunmmeng2002
这个作者很懒,什么都没留下…
展开
-
spark中application、driver、job、stage的理解
Spark学习笔记1:Application,Driver,Job,Task,Stage理解 看了spark的原始论文和相关资料,对spark中的一些经常用到的术语做了一些梳理,记录下。1,Applicationapplication(应用)其实就是用spark-submit提交的程序。比方说spark example转载 2017-07-03 16:27:17 · 1197 阅读 · 0 评论 -
Spark编程指南
spark-1.6.0 [原文地址]Spark编程指南概述总体上来说,每个Spark应用都包含一个驱动器(driver)程序,驱动器运行用户的main函数,并在集群上执行各种并行操作。Spark最重要的一个抽象概念就是弹性分布式数据集(resilient distributed dataset – RDD),RDD是一个可分区的元素集合,其包含的元素可以分布在集群各个节点上,并且可以执行一些分布转载 2017-06-29 16:45:40 · 404 阅读 · 0 评论 -
spark开发环境搭建
前言 无论Windows 或Linux 操作系统,构建Spark 开发环境的思路一致,基于Eclipse 或Idea,通过Java、Scala 或Python 语言进行开发。安装之前需要提前准备好JDK、scala 或python 环境,然后在Eclipse 中下载安装Scala 或Python 插件(Spark支持Java、Python等语言)。基本步骤如下: 第一步:安装JDK 第二转载 2017-06-28 15:07:33 · 501 阅读 · 0 评论