spark
文章平均质量分 91
sooner高
DeepFaceLab作者, Tensorflow & PyTorch contributor,深度学习小学生
展开
-
Akka并发编程——1、Actor模型(一)
摘要: 本节主要内容 定义Actor 创建Actor 1. 定义Actor 通过扩展akka.actor.Actor 特质并实现receive方法来定义Actor,代码示例如下 //通过扩展Actor并实现receive方法来定义Actor class MyActor extends Actor { //获取LoggingAdapter,用于日志输出 v本节主要内容转载 2017-05-05 09:14:20 · 774 阅读 · 0 评论 -
ReduceByKey算子理解
前言 最近经常使用到reduceByKey这个算子,想着结合*ByKey算子和stage划分一起总结一下,所以沉下心来仔细过了一遍相关的博客和帖子,在此整体过一遍这个算子,那么我们开始:国外的大牛一上来给出这么一句话,个人感觉高度概括了reduceByKey的功能:Spark RDD reduceByKey function merges the values for each key usi原创 2017-07-25 20:12:01 · 5790 阅读 · 0 评论 -
深入研究 spark 运行原理之 job, stage, task
前言 本文转载自李涛涛的博客本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。其次,本系列是基于目前最新的转载 2017-07-25 19:54:30 · 1511 阅读 · 0 评论 -
【只用python】Spark Programming Guide 1.6.0翻译(1)
最近写spark streaming程序,对于一个非计算机专业出身的渣渣,对java真的累觉不爱。虽然,用scala进行开发也很方便,但是为了帮助只会python,或者说习惯用python做后续处理任务的同学来说,我打算做一个基于python的spark streaming/SQL等教程。这篇文章是将官方文档翻译成中文,并加上测试的例子。概要 (Overview)Spark Streaming是对原创 2017-06-09 10:42:12 · 745 阅读 · 0 评论 -
spark-redis入门教程
本文是我翻译自redis官方网站文章,英文作者是Itamar Harber。 Spark-Redis是用Spark在redis上面进行读写数据操作的包。其支持redis的所有数据结构:String(字符串), Hash(哈希), List(列表), Set and Sorted Set(集合和有序集合)。此模块既可以用于Redis的standalone模式,也可用于集群情况。此外,Spark-R原创 2017-06-05 15:59:18 · 10465 阅读 · 0 评论 -
Akka并发编程——5、Actor模型(五)
摘要: 本将主要内容: 1. !消息发送,Fire-and-Forget消息模型 2. ?消息发送,Send-And-Receive-Future消息模型 Akka提供了两种消息模型:fire-and-forget和Send-And-Receive-Future。fire-and-forget是一种单向消息发送模型,指的是异步发送消息,通过异步发送消息且消息发送后可以立即返回,Akka中使转载 2017-05-07 09:57:14 · 462 阅读 · 0 评论 -
Akka并发编程——4、Actor模型(四)
摘要: 本节主要内容: 1. 停止Actor (1)通过ActorSystem.shutdown方法停止该system下所有Actor的运行(2)通过context.stop方法停止Actor的运行(3)通过akka.actor.PoisonPill消息停止Actor的运行本节主要内容: 停止Actor停止Actor(1)通转载 2017-05-07 09:38:22 · 460 阅读 · 0 评论 -
Akka并发编程——3、Actor模型(三)
摘要: 本将主要内容: 1. Actor引用、Actor路径 1. Actor引用、Actor路径:下图是Akka官方文档中给出的一张图 该图清晰地说明了ActorPath,ActorRef,Actor及ActorSystem之间的关系,并说明了Actor整体的层次结构。前面我们提到,Akka应用程序会持有一个名称为user的Actor,该Actor被称为guardian supe转载 2017-05-06 16:34:31 · 727 阅读 · 0 评论 -
Akka并发编程——2、Actor模型(二)
摘要: 本节主要内容: Actor API解析 1. Actor API解析 Actor中的主要成员变量和方法定义如下: package akka.actor trait Actor extends scala.AnyRef { type Receive = akka.actor.Actor.Receive //context变量暴露当前Actor的上下文信息本节主要内容:转载 2017-05-05 11:17:37 · 583 阅读 · 0 评论 -
Spark 核心算子:combineByKey()
复习rdd的概念的时候,发现像reduceByKey、groupByKey这些算子的都是基于combineByKey来实现的高级算子。虽然在《Learning spark》一书中提到,自制的分组统计速度比spark内置的速度慢,但是熟悉这套流程也是非常有益的。有助于深入的理解spark中aggregate的原理。简单介绍combineByKey()是最通用的对key-value型rdd进行聚集操作原创 2017-09-09 17:45:12 · 1785 阅读 · 1 评论