似水流年

分类： Hadoop1.hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什么？5.Nimbus和Supervisor之间的所有协调工作有master来完成，还是Zookeeper集群完成？6.storm稳

一 、异常原因启动 storm ui >/dev/null 2>&1 & 报错l backtype.storm.ui.coreException in thread "main" java.net.BindException: Address already in use    at java.net.PlainSocketImpl.socketBind(Native Meth

文档说明该文档包涵了storm实战中经常遇到一些问题，及对应解决方案。这个文档是群里一个朋友在学习storm，并实战storm中遇到的一些问题，及和群里其他朋友一起交流给出的对应解决方案，并由他整理好，委托我发布出来（也算是交流者之一），供大家参考，希望能对大家有所帮助。感谢 某某（哈哈 鉴于部分原因，不便透露名字~~~~！）…问题锦集1 关于Storm集群1.1

原书下载地址 译者：吴京润   编辑：方腾飞译者注：本文翻译自《Getting Started With Storm》，本书中所有Storm相关术语都用斜体英文表示。 这些术语的字面意义翻译如下，由于这个工具的名字叫Storm，这些术语一律按照气象名词解释spout 龙卷，读取原始数据为bolt提供数据bolt 雷电，从spout或其它bolt接收数据，并处理数据，处理结果可作为其

标签： storm 2015-03-18 22:48 35人阅读 评论(0)收藏 举报分类： java（21） 目录(?)[+]首先，从GitHub仓库克隆该示例：1> git clone git://github.com/storm-book/examples-ch06-real-life-

如果想创建一个 Storm 集群，有如下两种途径：使用 storm-deploy在 Amazon EC2创建一个集群，如第六章所示手动安装Storm（本节的内容）手动安装Storm，需要安装如下软件：Zookeeper 集群，参见管理手册Java 6.0Python 2.6.6Unzip 指令

Storm 客户端允许你使用指令来管理 topology 提交到集群中。遵循如下步骤来安装 Storm 客户端：从 Storm 站点下载最新稳定版 Storm；一旦下载了，将其解压到/usr/local/bin/storm；接着，添加storm PATH，以便可以运行 storm 指令，无需输入全路径。如果你使用/usr/local/bin/storm目录，

在Storm中，如本书前面提到的，你可以使用 ack 和 fail策略来保证消息被处理。但是如果消息重放了呢？如何保证不被重复计数？事务 Topology 是 Storm 0.7.0 里面的新特性，可以使用消息原语来保证消息以安全的方式重放，且仅被处理一次。没有事务性 topology 的支持，你无法以并发的、容错的方式百分百准确地进行统计。事务性 topology 是建立在标

有时候你希望使用非JVM语言来实现一个 Storm工程，也许是你使用其他语言感觉更舒服，或者是你想使用其他语言的开发的库。Storm 是用 Java 实现的，你之前所看到的本书那些示例 spout 和 bolt 也是用Java来编码的。所以能用能用 Python、Ruby 或者 JavaScript 来编写呢？答案是肯定的。通过使用多语言协议（multilang protocol） 来实现

本章将演示一个典型的网页分析方案，通常使用 Hadoop 批量作业来解决的问题。不像 Hadoop 的实现方案，基于 Storm 的解决方案实时刷新并呈现结果。示例有三个主要部分（如图6.1所示）：一个 Node.js 的web应用，用来测试系统一个 Redis 服务器，用来持久化数据一个 Storm topology，用于实时分布式数据处理

如你所见，bolt 是Storm集群的关键组件。本章，你将了解到一个 bolt 的生命周期、一些 bolt 设计策略以及几个演示如何实现它的例子。5.1 Bolt 生命周期Bolt 是一个将 tuple 作为输入、产出多个 tuple 作为输出的组件。实现一个 bolt，通常需要实现IRichBolt接口。Bolt 在客户端服务器中被创建，序列化到 topology 中，然后被

本章，你将学习到最被经常用来设计 topology（spout）的策略以及 spout 是如何具有容错能力的。4.1 可靠 vs. 不可靠消息当设计 topology 时，消息的可靠性是浮现在脑海中最重要的一件事。如果一个消息不能被处理，你需要决定如何处理这条消息以及整个topology需要做什么。比如，当处理银行存款业务时，很重要的一点事不能丢失任何一条交易消息。但是如果你处理上

你将从本章学习到：如何在一个 Storm topology 的不同组件间传递 tuple，以及如何将 topology 部署到一个 Storm 集群。3.1 流分组当设计一个 topology 的时候，你需要做的最重要的一件事是定义如何在不同组件间交换数据，换言之就是 bolt 间如何消费数据流。流分组明确了哪些流被每个 bolt 消费以及被如何消费。一个节点可以发射不

在部署好Storm集群后，可以使用Storm提供的命令行客户端提供的帮助信息[root@sc1 ~]# stormCommands:    activate            　　激活指定的拓扑    classpath               获取Storm客户端运行命令时使用的类路径（classpath）    deactivate              禁