Storm
薄荷微光少年梦
这个作者很懒,什么都没留下…
展开
-
Strom:pluggable scheduler :如何检测component是否已经分配到了指定的主机上
在做storm项目的时候,发现之前的那种判断是否执行自定义分配策略的条件太粗陋。以下是较严格的解决方案:不懂得可以给我留言//从实体的名字获取实体的线程集 private ArrayList getExecutorByName( TopologyDetails topology, String ExecutorNames) { ArrayList re = new ArrayL原创 2014-01-21 17:38:36 · 1504 阅读 · 0 评论 -
Strom:pluggable scheduler 自己写的自定义分配任务
Storm提供的一个插拔式调度策略的扩展,在加入新的topology后,并不会完全替代系统自带的分配策略。它仅仅是扩展,不能替代。而且按照设计,它的出现是为了应付一些极端情况,比如,slot不够用。在这些情况下,storm默认的调度策略,无法很好的实施。然后,才会执行自定义的调度策略。新加入的topology启动后,系统默认的调度策略还在起作用,所以,我们制定的spout/bolt的实体可能已经被原创 2014-01-15 13:35:42 · 2162 阅读 · 0 评论 -
storm nimbus : stormconf.ser' does not exist nimbus 解决办法
nimbus 关机前,没有kill topology,再启动的时候,nimbus总是起不来,看日志,说是缺少个文件。(stormconf.ser' does not exist nimbus)解决方法如下:分两步1:将storm配置文件storm.yaml内对应的storm.localdir对应的目录内的东西全部清掉2:将zookeeper相关节点删除在这步中,在主控台原创 2014-01-14 15:01:44 · 2841 阅读 · 1 评论 -
Twitter Storm: 配置开发环境
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址: http://xumingming.sinaapp.com/149/twitter-storm-配置开发环境/ 本文翻译自:https://github.com/nathanmarz/storm/wiki/Setting-up-development-environme转载 2013-12-18 15:15:21 · 791 阅读 · 0 评论 -
Storm:多并行度下Spout和Blot实体间Tuple的定向传输(tuple在多流时的路由)
多并行度下Spout和Blot实体间Tuple的定向传输 图1 Spout与Blot多对1关系图 图2 Spout与Blot1对1关系图 图3 Spout与Blot 1对多关系图 Topology中可以有多个Spout、Blot实体。若Spout和Blot为点,Stream为边,整个Topology可以看做是由原创 2014-01-07 19:06:26 · 4571 阅读 · 0 评论 -
Twitter Storm 安装实战-本地+集群
特别感谢 安分守己的好公民@新浪博客 见龙在天@网易博客 & 徐明明 & 圆石技术之路@51CTO博客-----------------------------------------------------------------------------------------Storm的依赖软件比较多,需要装Python、zookeeper、zeromq以及jzmq,然后才是s转载 2014-01-06 13:13:01 · 1101 阅读 · 0 评论 -
Twitter Storm: 创建一个新的storm项目
这篇文章主要介绍如何新建一个storm项目, 主要步骤:把storm的jar包加到classpath里面去。 如果使用storm的多语言特性的话, 把multilang目录也加到classpath里面去。 把storm jar包添加到classapth里面为了开发storm项目你的classpath里面需要有storm的jar包。最推荐的方式是使用Maven, 不使用mave转载 2013-12-18 15:26:29 · 875 阅读 · 0 评论 -
Twitter Storm简介与入门
背景过去的十年是数据处理变革的十年, MapReduce, Hadoop以及一些相关的技术使得我们能处理的数据量比以前要大得多得多。但是这些数据处理技术都不是实时的系统 — 它们设计的目的也不是为了实时计算。没有什么办法可以简单地把hadoop变成一个实时计算系统。实时数据处理系统和批量数据处理系统在需求上有着本质的差别。然而大规模的实时数据处理已经越来越成为一种业务需求了,转载 2013-12-18 14:56:17 · 1299 阅读 · 0 评论 -
Storm 集群连接数据库方法
问题Linux下Java连接Mysql出现“ClassNotFoundException:com.mysql.jdbc.Driver”错误解决1. 把驱动文件放在这个文件夹里$JAVA_HOME//jre/lib/ext/mysql-connector-java-5.1.19-bin.jar2. 编辑/etc/profile文件参考资料转载 2014-02-10 16:12:11 · 2592 阅读 · 0 评论