storm
文章平均质量分 82
快乐程序员
从事hadoop/hbase/hive/impala运维和研究
展开
-
Setting up storm development environment
Setting up development environment This page outlines what you need to do to get a Storm development environment set up. In summary, the steps are: Download a Storm release , unpack it,转载 2013-06-20 11:37:01 · 1193 阅读 · 0 评论 -
Creating a new Storm project
Creating a new Storm project This page outlines how to set up a Storm project for development. The steps are: Add Storm jars to classpathIf using multilang, add multilang dir to classpat转载 2013-06-20 11:38:08 · 1103 阅读 · 0 评论 -
Storm用户手册
Tutorial In this tutorial, you'll learn how to create Storm topologies and deploy them to a Storm cluster. Java will be the main language used, but a few examples will use Python to illustr转载 2013-06-20 11:26:30 · 1713 阅读 · 0 评论 -
Storm入门教程 第二章 构建Topology
2.1 Storm基本概念 在运行一个Storm任务之前,需要了解一些概念: TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfiguration Storm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs,而在Storm上运行的是拓扑(转载 2013-09-21 22:38:00 · 1130 阅读 · 0 评论 -
Storm入门教程 第三章 Storm安装部署步骤
本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出。详解了Storm安装部署步骤,希望能给您带来帮助。 AD:2013云计算架构师峰会超低价抢票中 本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目转载 2013-09-21 22:24:45 · 1576 阅读 · 0 评论 -
storm入门教程 第四章 消息的可靠处理
4.1 简介 storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的,并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。 4.2 理解消息被完整处理 一个消息(tuple)从spout发送出来,可能会导致成百上千的消息基于此消息被创建。 我们来思考一下流式的“单词统计”的例子: sto转载 2013-09-21 22:38:58 · 988 阅读 · 0 评论 -
Storm入门教程 第五章 一致性事务
第五章 一致性事务 Storm是一个分布式的流处理系统,利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错,则可以被重传,但是如何保证出错的tuple只被处理一次呢?Storm提供了一套事务性组件Transaction Topology,用来解决这个问题。 Transactional Topology目前已经不再维护,由Trident来实现事务性to转载 2013-09-21 22:39:46 · 942 阅读 · 0 评论 -
storm入门教程 第一章 前言
1.1 实时流计算 互联网从诞生的第一时间起,对世界的最大的改变就是让信息能够实时交互,从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求,软件行业除了个人操作系统之外,数据库(更精确的说是关系型数据库)应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前,很多银行别说实时转账,连实时查询都做不到,但是数据库和高速网络改变了这个情况。 随着互联网的更进一步发转载 2013-09-21 22:41:31 · 1016 阅读 · 0 评论