Storm
Anonymous_cx
这个作者很懒,什么都没留下…
展开
-
Storm入门程序——WordCount
spout:WordReader:package spout;import java.io.File;import java.io.IOException;import java.util.Collection;import java.util.List;import java.util.Map;import org.apache.commons.io.FileUtils;import b原创 2016-04-17 10:20:38 · 836 阅读 · 0 评论 -
Storm集群启动与停止脚本及其注意事项
前提:集群之间首先要做免密码登陆 集群中主节点启动:nimbus和ui进程 从节点启动:supervisor和logviewer进程1:启动集群 需要先设置从节点的ip,保存到文件supervisorhost中,一行是一个节点的ip 192.168.1.171 192.168.1.172在主节点写一个脚本:start-all.sh#!/bin/bash s原创 2016-04-17 11:02:39 · 3668 阅读 · 0 评论 -
Strom优化
并行度worker为storm提供工作进程,程序的并行度可以设置(包括spout和bolt的并行度,如果有acker的话还包括acker的并行度),并行度即为task 数目。 一般而言 worker和task之间的比例,即1个worker包含10~15个左右,当然根据配置和应用需要测试优化。worker(slots)CPU 16核,建议配置20个worker。CPU 24或32核,30个work原创 2016-04-17 11:09:40 · 741 阅读 · 0 评论 -
Storm入门
*1. 什么是StormStorm是Twitter开源的一个分布式的实时计算系统。2. Storm的设计思想 - Storm是对流Stream的抽象,流是一个不间断的无界的连续tuple,注意Storm在建模事件流时,把流中的事件抽象为tuple即元组。 - Storm将流中元素抽象为Tuple,一个tuple就是一个值列表value list,list中的每个value都有一个na原创 2016-04-17 09:58:31 · 4706 阅读 · 0 评论