storm
文章平均质量分 75
冰火两重天
专注于hadoop平台大数据处理的技术对机器学习以及统计学持续的不断深入
展开
-
storm 手册
在此教程中,会学到如何创建storm topologies,且将他们部署到storm cluster上。 准备工作 本教程使用storm-start工程的demo。推荐复制此工程,按照demo一步一步来做。阅读setting up development environment和creating a new storm project来在你的机器上设置环境。 storm cluste翻译 2013-01-08 11:55:53 · 2559 阅读 · 0 评论 -
在集群上运行topology
运行步骤 类似本地模式,在集群上运行topology步骤: 1)定义topology(如果使用java,使用topologyBuilder) 2)使用StormSubmitter来提交topology给集群。 Config conf = new Config(); conf.setNumWorkers(20); conf.setMaxSpoutPending(5000); S翻译 2013-01-10 18:03:20 · 2075 阅读 · 0 评论 -
storm保证消息被处理
storm保证离开spout的每个消息都会被成功处理。 What does it mean for a message to be "fully processed"? 离开spout的tuple可以触发成千的tuple被创建。 TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("sentences",翻译 2013-01-13 21:21:36 · 921 阅读 · 0 评论