Spark
minge_se
这个作者很懒,什么都没留下…
展开
-
Spark入门之REPL/CLI/spark shell 快速学习
*注:本文为本人结合网上资料翻译 Apache Spark 2.x for Java developers 一书而来,仅作个人学习研究之用,支持转载,但务必注明出处。一、前言本章的目的是提供指导,以便读者熟悉独立模式下安装Apache Spark的过程及其依赖关系。 然后,我们将开始与Apache Spark的第一次交互,通过使用Spark CLI(称为REPL)进行一些练习。翻译 2018-01-22 16:38:03 · 1200 阅读 · 0 评论 -
spark入门之Spark 组件(components)
*注:本文为本人结合网上资料翻译 Apache Spark 2.x for Java developers 一书而来,仅作个人学习研究之用,支持转载,但务必注明出处。我们先来了解一些spark相关的术语:Driver:这是监督Spark作业或程序端到端执行的主程序。 它与集群的资源管理器进行资源的协商,并将程序编排成尽可能小的数据本地并行编程单元。Executors翻译 2018-01-23 11:03:21 · 1044 阅读 · 1 评论 -
spark入门之spark Driver Web UI
*注:本文为本人结合网上资料翻译 Apache Spark 2.x for Java developers 一书而来,仅作个人学习研究之用,支持转载,但务必注明出处。一、概述本节将提供Spark driver‘s UI的一些重要方面。 我们将在Spark UI上看到我们使用Spark shell执行的作业的统计信息。在启动spark-shell时,调试信息会给出翻译 2018-01-24 11:26:09 · 10216 阅读 · 1 评论 -
Spark2.x基础学习之RDD理解
一、RDD介绍RDD:Resilient Distributed Datasets弹性分布式数据集——对于内存集群运算(In-Memory Cluster Computing)的一个容错(Fault-Tolerant)抽象Spark是一个函数式编程的范例(functional programming paradigm),函数式编程的一个关键概念是不变的(immutable)对象,RDD也是一个im翻译 2018-01-18 15:57:27 · 375 阅读 · 0 评论 -
Spark基础:java回顾之泛型与接口
*注:本文为本人结合网上资料翻译 Apache Spark 2.x for Java developers 一书而来,仅作个人学习研究之用,支持转载,但务必注明出处。一、泛型(Generics)1.简介Generics在java 1.5中被引入。Generics帮助用户创建定义时拥有抽象类型的通用代码,那个抽象类型能够在实现时被任何一种具体类型所代替。举个例子,list接口或者它的实现:Array翻译 2018-01-19 10:26:51 · 396 阅读 · 0 评论