- 博客(5)
- 收藏
- 关注
RSS订阅翻译 spark入门之spark Driver Web UI
*注：本文为本人结合网上资料翻译 Apache Spark 2.x for Java developers 一书而来，仅作个人学习研究之用，支持转载，但务必注明出处。一、概述本节将提供Spark driver‘s UI的一些重要方面。 我们将在Spark UI上看到我们使用Spark shell执行的作业的统计信息。在启动spark-shell时，调试信息会给出
2018-01-24 11:26:09
10129
1
翻译 spark入门之Spark 组件（components）
*注：本文为本人结合网上资料翻译 Apache Spark 2.x for Java developers 一书而来，仅作个人学习研究之用，支持转载，但务必注明出处。我们先来了解一些spark相关的术语：Driver：这是监督Spark作业或程序端到端执行的主程序。 它与集群的资源管理器进行资源的协商，并将程序编排成尽可能小的数据本地并行编程单元。Executors
2018-01-23 11:03:21
993
1
翻译 Spark入门之REPL/CLI/spark shell 快速学习
*注：本文为本人结合网上资料翻译 Apache Spark 2.x for Java developers 一书而来，仅作个人学习研究之用，支持转载，但务必注明出处。一、前言本章的目的是提供指导，以便读者熟悉独立模式下安装Apache Spark的过程及其依赖关系。 然后，我们将开始与Apache Spark的第一次交互，通过使用Spark CLI（称为REPL）进行一些练习。
2018-01-22 16:38:03
1168
翻译 Spark基础：java回顾之泛型与接口
*注：本文为本人结合网上资料翻译 Apache Spark 2.x for Java developers 一书而来，仅作个人学习研究之用，支持转载，但务必注明出处。一、泛型（Generics）1.简介Generics在java 1.5中被引入。Generics帮助用户创建定义时拥有抽象类型的通用代码，那个抽象类型能够在实现时被任何一种具体类型所代替。举个例子，list接口或者它的实现：Array
2018-01-19 10:26:51
368
翻译 Spark2.x基础学习之RDD理解
一、RDD介绍RDD:Resilient Distributed Datasets弹性分布式数据集——对于内存集群运算（In-Memory Cluster Computing）的一个容错（Fault-Tolerant）抽象Spark是一个函数式编程的范例（functional programming paradigm），函数式编程的一个关键概念是不变的（immutable）对象，RDD也是一个im
2018-01-18 15:57:27
367
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人