2017年01月_奔跑的前浪

09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 spark入门之五 task提交

spark

2017-01-30 21:29:45 634

原创 spark入门之四任务的调度stages划分

spark的任务调度在上次我们讲了 Spark Job的提交，我们提到，当rdd触发action操作之后，会调用SparkContext的runJob方法，最后调用的DAGScheduler.handleJobSubmitted方法完成整个job的提交。然后DAGScheduler根据RDD的lineage进行Stage划分，再生成TaskSet，由TaskScheduler向集群申

2017-01-28 21:49:14 2605

原创 spark入门之三 spark job提交

spark job提交过程

2017-01-28 19:40:59 1452

原创 spark入门之二 spark作业提交流程

spark 作业提交

2017-01-28 14:43:15 2198

原创 spark入门之一 spark组件

spark

2017-01-27 14:07:23 11056

原创 kafka之七 sinkTask

kafka sinktask

2017-01-26 15:08:09 3066 2

原创 kafka之五 kafkaAdmin API

kafka 创建topic javaAPI

2017-01-26 13:55:46 6545

原创 kafka之四 consumer 解析

摘要主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level Consumer原理，以及适用场景和Java API实现High Level Consumer 原理 High Level Consumer API围绕着Consumer Group这个逻辑概念展开，它屏蔽了每个To

2017-01-25 10:07:11 1771

转载 kafka之三 Kafka 高可用

kafka

2017-01-24 14:53:45 591

原创 kafka之二文件存储

kafka

2017-01-24 13:24:50 811

转载 kafka之一入门介绍

kafka 入门

2017-01-24 10:04:13 630

原创代理设计模式

代理模式: 为其他对象提供一种代理，并以控制对这个对象的访问。而对一个对象进行访问控制的一个原因是为了只有在我们确实需要这个对象时才对它进行创建和初始化。它是给某一个对象提供一个替代者(占位者),使之在client对象和subject对象之间编码更有效率。代理可以提供延迟实例化(lazy instantiation),控制访问, 等等，包括只在调用中传递。一个处理纯本地资源的代理有时被称作虚

2017-01-23 14:47:18 201