- 博客(10)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 Storm Trident 详解
英文原址：https://github.com/nathanmarz/storm/wiki/Trident-tutorial----------------Trident是在storm基础上，一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时，也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批量处理
2014-08-22 15:48:01
4727
原创 Storm专题二：Storm Trident API 使用详解
一、概述 Storm Trident中的核心数据模型就是“Stream”，也就是说，Storm Trident处理的是Stream，但是实际上Stream是被成批处理的，Stream被切分成一个个的Batch分布到集群中，所有应用在Stream上的函数最终会应用到每个节点的Batch中，实现并行计算，具体如下图所示： 在Trident中有五种操作类型：A
2014-08-22 11:02:00
7166
原创 实例：如何使用 Netty 下载文件
本实例主要参考的是官网的examples：点击这里使用场景：客户端向Netty请求一个文件，Netty服务端下载指定位置文件到客户端。本实例使用的是Http协议，当然，可以通过简单的修改即可换成TCP协议。需要注意本实例的关键点是，为了更高效的传输大数据，实例中用到了ChunkedWriteHandler编码器，它提供了以zero-memory-copy方式写文件。第一步：先写一个
2014-08-19 11:53:47
11094
原创 Redis数据清除问题
关于Redis数据清除问题自动删除机制：每个key都可以设置过期时间，到期自动删除，缓存中的数据可以设置为永久存活（Memcached的是30天）手动删除：给定打算要删除的key，即可删除key对应的数据
2014-08-18 11:49:50
8278
原创 Redis使用手册
给公司整理了一个简单的Redis使用手册，其中很多部分也是参考的他人的资料，在这里分享给大家~ Redis调研及使用文档Redis调研及使用文档...11 引言... 42 概述... 43 Redis介绍... 43.1 五种数据类型... 43.1.1 String类型..
2014-08-18 11:38:31
96423
2
原创 Kafka详解五、Kafka Consumer的底层API- SimpleConsumer
Kafka提供了两套API给ConsumerThe high-level Consumer APIThe SimpleConsumer API 第一种高度抽象的Consumer API，它使用起来简单、方便，但是对于某些特殊的需求我们可能要用到第二种更底层的API，那么先介绍下第二种API能够帮助我们做哪些事情一个消息读取多次在一个处理过程中只消费Partiti
2014-08-18 11:26:02
18582
2
原创 kafka详解一、Kafka简介
背景： 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它 如何及时做到如上两点 以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两
2014-08-18 10:45:54
11179
转载 Storm专题一、Storm DRPC 分布式计算
本文zi Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性， 它是通过组合storm的原语spout，bolt， topology而成的一种模式(pattern)。本来应
2014-08-06 10:31:43
7344
2
原创 Storm详解二、写第一个Storm应用
在全面介绍Storm之前，我们先通过一个简单的Demo让大家整体感受一下什么是Storm。Storm运行模式：本地模式(Local Mode)： 即Topology（相当于一个任务，后续会详细讲解） 运行在本地机器的单一JVM上，这个模式主要用来开发、调试。远程模式(Remote Mode):在这个模式，我们把我们的Topology提交到集群，在这个模式中，Storm的所有组件都
2014-08-04 15:10:12
14038
3
原创 Storm详解一、Storm 概述
一、Storm概述 Storm是一个分布式的、可靠的、零失误的处理流式数据的系统。它的工作就是委派各种组件分别独立的处理一些简单任务。在Storm集群中处理输入流的是Spout组件，而Spout又把读取的数据传递给叫Bolt的组件。Bolt组件会对收到的数据元组进行处理，也有可能传递给下一个Bolt。我们可以把Storm集群想象成一个由bolt组件组成的链条集合，数据在这些链条上传输
2014-08-04 10:45:25
7915
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人