摇摆少年梦的技术博客

专注于Scala语言、Hadoop及Spark大数据处理技术

排序:
默认
按更新时间
按访问量

Akka书箱推荐

话不多说,推荐下面几本书: 1. Akka Essentials, By Munish K. Gupta, Publisher: Packt Publishing,Release Date: October 2012。非常适合入门级,图文并茂,看完能够明白AKKA的大部分精髓 2. Effec...

2015-11-09 23:24:22

阅读数:9268

评论数:4

《Scala开发快速入门》书籍出版

Apache Spark、Apache Kafka等基于Scala语言实现的框架在大数据生态圈内占有举足轻重的地位,它们一定程度上引领着大数据最前沿技术方向,另外Akka、Apache Gearpump等基于Scala语言实现的框架在大数据生态圈内也备受关注,工业实践已经证明了Scala语言的强大...

2016-09-08 23:41:16

阅读数:18461

评论数:3

Akka并发编程——第八节:Actor模型(七)

本节主要内容停止运行Typed Actor当Typed Actor不再需要时要将其停止,有3种方法停止Typed Actor的运行: (1)通过system.shutdown()停止ActorSystem中所有的Typed Actor; (2)调用TypedActor(syst...

2016-06-26 23:02:16

阅读数:9503

评论数:2

Akka并发编程——第七节:Actor模型(六)

主要内容: 1. Typed Actor定义 2. Typed Actor创建 3. 消息发送1. Typed Actor定义Akka中的Typed Actor是Active Objects设计模式的实现,Active Objects模式将方法的执行和方法的调用进行解耦合,从而为程序引入并发...

2016-06-26 22:59:47

阅读数:9046

评论数:0

Akka并发编程——第六节:Actor模型(五)

本将主要内容: 1. !消息发送,Fire-and-Forget消息模型 2. ?消息发送,Send-And-Receive-Future消息模型Akka提供了两种消息模型:fire-and-forget和Send-And-Receive-Future。fire-and-forget是一种单向...

2016-06-03 23:17:48

阅读数:16923

评论数:0

Akka并发编程——第五节:Actor模型(四)

本节主要内容: 1. 停止Actor1. 停止Actor(1)通过ActorSystem.shutdown方法停止所有 Actor的运行/* *停止Actor:ActorSystem.shutdown方法 */ object Example_10 extends App{ import ak...

2016-04-02 22:24:01

阅读数:2686

评论数:1

Akka并发编程——第四节:Actor模型(三)

本将主要内容: 1. Actor引用、Actor路径1. Actor引用、Actor路径下图是Akka官方文档中给出的一张图该图清晰地说明了ActorPath,ActorRef,Actor及ActorSystem之间的关系,并说明了Actor整体的层次结构。前面我们提到,Akka应用程序会持有一...

2016-04-02 21:24:10

阅读数:3853

评论数:1

Akka并发编程——第三节:Actor模型(二)

本节主要内容: Actor API解析 1. Actor API解析Actor中的主要成员变量和方法定义如下:package akka.actor trait Actor extends scala.AnyRef { type Receive = akka.actor.Actor.Receiv...

2016-04-02 19:26:29

阅读数:3520

评论数:0

Akka并发编程——第二节:Actor模型(一)

本节主要内容 定义Actor 创建Actor 1. 定义Actor通过扩展akka.actor.Actor 特质并实现receive方法来定义Actor,代码示例如下//通过扩展Actor并实现receive方法来定义Actor class MyActor extends Actor { ...

2016-04-02 15:19:00

阅读数:5651

评论数:0

Akka框架——第一节:并发编程简介

本节主要内容: 1. 重要概念 2. Actor模型 3. Akka架构简介多核处理器的出现使并发编程(Concurrent Programming)成为开发人员必备的一项技能,许多现代编程语言都致力于解决并发编程问题。并发编程虽然能够提高程序的性能,但传统并发编程的共享内存通信机制对开发人...

2016-04-01 22:58:05

阅读数:9326

评论数:3

Spark修炼之道(进阶篇)——Spark入门到精通:第十节 Spark SQL案例实战(一)

作者:周志湖1. 获取数据本文通过将github上的Spark项目git日志作为数据,对SparkSQL的内容进行详细介绍 数据获取命令如下:[root@master spark]# git log --pretty=format:'{"commit":"%H&q...

2016-02-05 23:56:32

阅读数:6123

评论数:6

Spark修炼之道(进阶篇)——Spark入门到精通:第九节 Spark SQL运行流程解析

1.整体运行流程使用下列代码对SparkSQL流程进行分析,让大家明白LogicalPlan的几种状态,理解SparkSQL整体执行流程// sc is an existing SparkContext. val sqlContext = new org.apache.spark.sql.SQLC...

2015-12-31 10:58:21

阅读数:11346

评论数:4

Spark修炼之道(高级篇)——Spark源码阅读:第十三节 Spark SQL之SQLContext(一)

1. SQLContext的创建 SQLContext是Spark SQL进行结构化数据处理的入口,可以通过它进行DataFrame的创建及SQL的执行,其创建方式如下: //sc为SparkContext val sqlContext = new org.apache.spark.sql.S...

2015-12-30 07:29:38

阅读数:12640

评论数:4

Spark修炼之道(高级篇)——Spark源码阅读:第十二节 Spark SQL 处理流程分析

作者:周志湖下面的代码演示了通过Case Class进行表Schema定义的例子:// sc is an existing SparkContext. val sqlContext = new org.apache.spark.sql.SQLContext(sc) // this is used ...

2015-12-28 23:38:51

阅读数:15292

评论数:5

Spark修炼之道(进阶篇)——Spark入门到精通:第一节 Spark 1.5.0集群搭建

作者:周志湖 网名:摇摆少年梦 微信号:zhouzhihubeyond本节主要内容 操作系统环境准备 Hadoop 2.4.1集群搭建 Spark 1.5.0 集群部署 注:在利用CentOS 6.5操作系统安装spark 1.5集群过程中,本人发现Hadoop 2.4.1集群可以顺利搭建,但...

2015-12-28 21:36:41

阅读数:23382

评论数:19

Spark Shuffle模块——Suffle Read过程分析

在阅读本文之前,请先阅读Spark Sort Based Shuffle内存分析Spark Shuffle Read调用栈如下: 1. org.apache.spark.rdd.ShuffledRDD#compute() 2. org.apache.spark.shuffle.ShuffleM...

2015-12-21 21:19:40

阅读数:6025

评论数:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十六节 Spark Streaming与Kafka

作者:周志湖主要内容 Spark Streaming与Kafka版的WordCount示例(一) Spark Streaming与Kafka版的WordCount示例(二) 1. Spark Streaming与Kafka版本的WordCount示例 (一) 启动kafka集群 root@spar...

2015-12-03 23:32:41

阅读数:6698

评论数:4

Spark修炼之道(进阶篇)——Spark入门到精通:第十五节 Kafka 0.8.2.1 集群搭建

作者:周志湖 微信号:zhouzhihubeyond本节为下一节Kafka与Spark Streaming做铺垫主要内容1.kafka 集群搭建1. kafka 集群搭建 kafka 安装与配置到下面的地址下载:Scala 2.10 - kafka_2.10-0.8.2.1.tgz htt...

2015-12-02 22:43:57

阅读数:5830

评论数:1

Spark修炼之道(进阶篇)——Spark入门到精通:第十四节 Spark Streaming 缓存、Checkpoint机制

作者:周志湖 微信号:zhouzhihubeyond主要内容本节内容基于官方文档:http://spark.apache.org/docs/latest/streaming-programming-guide.html Spark Stream 缓存 Checkpoint 案例 1. Spark...

2015-11-30 23:42:36

阅读数:26557

评论数:3

Spark修炼之道(进阶篇)——Spark入门到精通:第十三节 Spark Streaming—— Spark SQL、DataFrame与Spark Streaming

主要内容 Spark SQL、DataFrame与Spark Streaming 1. Spark SQL、DataFrame与Spark Streaming源码直接参照:https://github.com/apache/spark/blob/master/examples/src/main/s...

2015-11-29 16:17:02

阅读数:9357

评论数:3

提示
确定要删除当前文章?
取消 删除
关闭
关闭