![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark Programing Guide 翻译
文章平均质量分 81
以浪为码
发篇博客以表牛逼。
展开
-
Spark PG2. RDDs 并行集合 外部数据集
可伸缩的分布式数据集 Resilient Distributed Datasets (RDDs) 原文地址: http://spark.apache.org/docs/latest/programming-guide.html 仅限交流使用,转载请注明出处。如有错误,欢迎指出!! Henvealf/译Spark 的核心概念就是 RDD,是一个容错性极高的元素集合,他可以使用在并行的操作中。翻译 2016-11-26 18:38:58 · 591 阅读 · 1 评论 -
Spark PG1. 概述,连接Spark, 初始化,一些命令参数
概述 原文地址: http://spark.apache.org/docs/latest/programming-guide.html 仅限交流使用,转载请注明出处。如有错误,欢迎指正!! Henvealf/译RDD 可以通过使用 Hadoop 文件系统中的文件或者设备程序中的 Scala 集合来创建和转换成。用户也可以让 Spark 将 RDD 吃就好在内存中,允许并行操作高效的对其重复翻译 2016-11-26 18:33:52 · 443 阅读 · 0 评论 -
Spark PG3. RDD 操作一 基础 ,放入方法,闭包,输出元素, 使用 Key-Value 工作
RDD 操作一 基础 ,放入方法,闭包,输出元素,使用 Key-Value 工作 原文地址: http://spark.apache.org/docs/latest/programming-guide.html 仅限交流使用,转载请注明出处。 Henvealf/译RDD 提供了两种类型的操作: transformations :从已经存在的 RDD 中创建出一个新的 RDD。 actio翻译 2016-11-26 18:40:26 · 591 阅读 · 0 评论 -
Spark PG4. RDD 操作二 常用的 Transformations 与 Actions 方法
RDD 操作二 常用的 Transformations 与 Actions 方法 原文地址: http://spark.apache.org/docs/latest/programming-guide.html#transformations 仅限交流使用,转载请注明出处,如有错误,如有错误,欢迎指出。 Henvealf/译Transformations 转换这里只有 Scala 的API翻译 2016-11-26 18:44:46 · 563 阅读 · 0 评论 -
Spark PG5. Shuffle 操作
Shuffle 操作 (官方编程指南翻译) 原文地址: http://spark.apache.org/docs/latest/programming-guide.html#transformations 仅限交流使用,转载请注明出处。如有错误,欢迎指正!! Henvealf/译在 Spark 触发一个事件的时确定无疑的发生的操作就叫做 shuffle 。Shuffle 是 Spark 重翻译 2016-11-26 18:46:32 · 372 阅读 · 0 评论 -
Spark PG6. RDD 持久化
RDD 持久化 原文地址: http://spark.apache.org/docs/latest/programming-guide.html 仅限交流使用,转载请注明出处。如有错误,欢迎指出! Spark中一个很重要的能力就是可以将一个数据集通过操作持久化(或者说缓存)到内存中。实例化每一节点会存储数据集的任何分区的内容,这样其他的 action 就能在内存中重新利用并执行计算。这翻译 2016-11-26 18:47:56 · 323 阅读 · 0 评论 -
Spark PG7. 共享变量
Spark 共享变量 原文地址: http://spark.apache.org/docs/latest/programming-guide.html#shared-variables 仅限交流使用,转载请注明出处。如有错误,欢迎指出! Henvealf/译一般情况下, Spark 的 map 或者 reduce 操作(task)的方法是运行在远程的集群节点上的,且会在每一个操作上复制一份翻译 2016-11-26 18:49:18 · 306 阅读 · 0 评论