- 博客(8)
- 资源 (28)
- 收藏
- 关注
转载 Kafka设计理念浅
本文转载自:Kafka设计理念浅本文将从以下两个方面去尝试讲解Kafka的设计理念,主要参考文献在这里:Kafka设计背景及原因Kafka的设计特色Kafka设计背景及原因Kafka最初被LinkedIn设计来处理活动流数据(activity stream data)和系统处理数据(operaitonal data)。活动流数据是指像page vie
2013-03-30 15:56:00 3681
转载 NoSQL 中的 CAP 原理
转载自:NoSQL 中的 CAP 原理我们知道 CAP 原来是任何存储无法规避的定律,任何存储设备都无法在一致性(C),可用性(A)和分区可容忍性(P)三者上都做得非常好。这就是所谓的CAP定律。这里推荐的这篇文章,从CAP原理讲起,然后将目前的各大 NoSQL 产品进行了分类,如下:按功能分类:Relational 关系性数据库,这里就不多说了,像我们常用的
2013-03-25 13:48:17 1720
转载 如何“打败”CAP定理
转载自:如何“打败”CAP定理CAP定理是数据系统设计的基本理论,目前几乎所有的数据系统的设计都遵循了这个定理。但CAP定理给目前的数据系统带来了许多复杂的、不可控的问题,使得数据系统的设计越来越复杂。Twitter首席工程师、Storm的作者Nathan Marz在本文中通过避开CAP定理带来的诸多复杂问题,展示了一个不同于以往的数据系统设计方案,给我们的数据系统设计带来了全新的思路
2013-03-25 13:41:07 1768
转载 Storm使用到的相关技术总结
转载自:Storm使用到的相关技术总结Storm作为一个开源的分布式实时流计算框架,其内部实现使用了一些常用的技术,这里是对这些技术及其在Storm中作用的概括介绍。以此为基础,后续再深入了解Storm的内部实现细节。1. Zookeeper集群Zookeeper是一个针对大型分布式系统的可靠协调服务系统,其采用类似Unix文件系统树形层次结构的数据模型(如:/zoo/a,
2013-03-24 16:30:54 2083
转载 使用 Twitter Storm 处理实时的大数据
转载自:使用 Twitter Storm 处理实时的大数据简介: Storm 是一个开源的、大数据处理系统,与其他系统不同,它旨在用于分布式实时处理且与语言无关。了解 Twitter Storm、它的架构,以及批处理和流式处理解决方案的发展形势。Hadoop(大数据分析领域无可争辩的王者)专注于批处理。这种模型对许多情形(比如为网页建立索引)已经足够,但还存在其他一些使用模型,它们
2013-03-24 15:22:07 2464
转载 Understanding the parallelism of a Storm topology
转载自:storm官方文档Storm distinguishes between the following three main entities that are used to actually run a topology in a Storm cluster:Worker processesExecutors (threads)TasksH
2013-03-24 14:54:42 1628
转载 storm入门教程 第四章 消息的可靠处理
转载自:量子恒道官方博客4.1 简介storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的,并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。4.2 理解消息被完整处理一个消息(tuple)从spout发送出来,可能会导致成百上千的消息基于此消息被创建。我们来思考一下流式
2013-03-24 14:39:43 7684 1
转载 Storm入门教程 第二章 构建Topology
转载自:量子恒道官方博客2.1 Storm基本概念在运行一个Storm任务之前,需要了解一些概念:TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfigurationStorm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs
2013-03-24 14:26:12 16257
基于递归分割的迷宫生成算法与自动寻路
2016-08-01
基于Access数据库的matlab学生成绩管理系统
2014-06-29
哼唱检索的并行化方法研究与实现
2014-03-18
vim高亮插件
2013-06-20
marsyas工作过程
2012-07-09
TCP实现windows和linux之间文件传输
2012-03-02
高效的霍夫曼文本压缩
2011-10-31
基于最短路的GPS地图导航
2011-02-28
PL0 集成开发环境
2010-07-12
PL0递归下降编译程序
2010-03-12
用霍夫曼树实现的文本压缩*(升级版)
2010-03-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人