2015年11月_zhouzhihubeyond

12月 11月 10月 09月 08月 07月

原创 Akka书箱推荐

话不多说，推荐下面几本书： 1. Akka Essentials, By Munish K. Gupta, Publisher: Packt Publishing,Release Date: October 2012。非常适合入门级，图文并茂，看完能够明白AKKA的大部分精髓 2. Effective Akka,By Jamie Allen,Publisher: O’Reilly Media,R

2015-11-09 23:24:22 10235 4

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第十四节 Spark Streaming 缓存、Checkpoint机制

作者：周志湖微信号：zhouzhihubeyond主要内容本节内容基于官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.htmlSpark Stream 缓存Checkpoint案例1. Spark Stream 缓存通过前面一系列的课程介绍，我们知道DStream是由一系列的RDD构成的，它同一般的

2015-11-30 23:42:36 31941 2

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第十三节 Spark Streaming—— Spark SQL、DataFrame与Spark Streaming

主要内容Spark SQL、DataFrame与Spark Streaming1. Spark SQL、DataFrame与Spark Streaming源码直接参照：https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/SqlNetworkW

2015-11-29 16:17:02 14128 3

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第十二节 Spark Streaming—— DStream Window操作

作者：周志湖微信号：zhouzhihubeyond本节主要内容Window Operation入门案例1. Window OperationSpark Streaming提供窗口操作（Window Operation），如下图所示：上图中，红色实线表示窗口当前的滑动位置，虚线表示前一次窗口位置，窗口每滑动一次，落在该窗口中的RDD被一起同时处理，生成一个窗口DStream（wind

2015-11-29 15:38:20 19536 5

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第十一节 Spark Streaming—— DStream Transformation操作

本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.htmlDStream Transformation操作1. Transformation操作 Transformation Meaning map(func) 对DStream中的各个元素进行func函数操作，然后

2015-11-25 23:54:57 13769 1

原创 Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)

本节主要内容本节部分内容来自官方文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html#mllib-operationsSpark流式计算简介Spark Streaming相关核心类入门案例1. Spark流式计算简介Hadoop的MapReduce及Spark SQL等只能进行离线计算，无法满足实时性要

2015-11-21 22:34:46 17869 6

原创 Spark国内外书籍推荐

Spark的爆发式的成长，今年Spark相关书籍明显比去年那时候多得多，这里面所国内外目前所有的书籍推荐给大家。因为在网络上，不便于将书籍的电子版公开出来，需要的可以私信我或加我微信：zhouzhihubeyond国内Spark书籍：《Spark大数据处理：技术、应用与性能优化》，作者：高彦杰，出版社：机械工业出版社，出版时间：2014年11月，Spark版本：1.0；《Spark大数据处理

2015-11-16 21:15:01 22771 11

原创 Spark修炼之道（高级篇）——Spark源码阅读：第十节 Standalone运行模式解析

Spark Standalone采用的是Master/Slave架构，主要涉及到的类包括：类：org.apache.spark.deploy.master.Master说明：负责整个集群的资源调度及Application的管理。消息类型：接收Worker发送的消息1. RegisterWorker2. ExecutorStateChanged3. WorkerSchedulerState

2015-11-09 23:35:09 9512 6