aodeng3436-CSDN博客

转载 macOS中安装docker

如官方文档中所说：1、点击进入boot2docker/osx-installer release页面。2、在下载页面中点击Boot2Docker-x.x.x.pkg来下载 Boot2Docker3、将Boot2Docker-x.x.x安装在Application中。4、启动boot2Docker虚拟机：从application中启动命令行 $ boot2d...

2016-10-09 20:18:00 96

转载 <译>Spark Sreaming 编程指南

Spark Streaming 编程指南OverviewA Quick ExampleBasic ConceptsLinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreams and ReceiversTransformations on DStre...

2016-01-08 13:01:00 274

转载 <译>Zookeeper官方文档

apache原文地址：http://zookeeper.apache.org/doc/trunk/zookeeperOver.htmlZooKeeperZooKeeper: A Distributed Coordination Service for Distributed ApplicationsDesign GoalsData model and th...

2015-12-10 10:08:00 181

转载 <译>Flink官方文档-Flink概述

OverviewThis documentation is for Apache Flink version 1.0-SNAPSHOT, which is the current development version of the next upcoming major release of Apache Flink.Apache Flink is an open source...

2015-12-08 21:56:00 149

转载 <译>流计算容错

这篇文档描述了Flink的流式计算的容错机制IntroductionCheckpointingBarriersStateExactly Once vs. At Least OnceRecovery简介Flink提供容错机制来对应用数据流提供持续的恢复。这个机制保证了即使在出现错误的情况下，记录也只会被处理一次。注意，这里有一个开关来降级...

2015-12-07 22:43:00 109

转载 <续>调度算法补充

cpmpute->executors:1.从storm配置获取<compoent-id,parallelism>集合2.storm-task-info 获得<task-id, compoent-id>集合3.将集合处理为 [compoent-id, tasks]4.将<compoent-id,parallelism>和<compo...

2015-11-21 16:26:00 85

转载 storm源码阅读笔记之任务调度算法

3种Scheduler概述EventScheduler：将系统中的可用资源均匀地分配给需要资源的topology，其实也不是绝对均匀，后续会详细说明DefaultScheduler：和EvenetScheduler差不多，只不过会先将其它topology不需要的资源重新收集起来，再进行EventSchedulerIsolationScheduler：用户可定义这个topo...

2015-11-08 22:25:00 137

转载海量数据处理方法归类

海量数据，找出最热门（频率最高）的某一数据，或前100的数据。一般情况下数据大小几百个G，而内存限制就1个G，完成计算。应用场景：　　（1）海量日志数据，提取出某日访问百度次数最多的那个IP；　　（2）搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复...

2015-11-01 22:05:00 148

转载 storm中worker、executor、task之间的关系

理清一下worker、executor、task、supervisor、nimbus、zk这几个之间的关系先来看一张图（图片来自：http://www.cnblogs.com/foreach-break/p/storm_worker_executor_spout_bolt_simbus_supervisor_mk-assignments.html）　　首先从微观上来...

2015-10-31 19:31:00 182