storm
行者无疆_super
这个作者很懒,什么都没留下…
展开
-
Storm简介及计算模型
Storm概述 Storm是一个开源的分布式实时流式计算系统 特点: -分布式:水平扩展,自动容错 -实时:低延迟(毫秒级) -流式:数据不间断流入、流出 -DAG:Spout Bolt组成DAG计算模型 -易用:像写单机程序一样简单,支持各种语言 -Apache顶级开源项目 业务场景: 实时统计、实时预警 实时ETL:日志过滤、标注化等 持续计算-如新闻自动发现分析Stor原创 2015-08-13 17:34:31 · 2330 阅读 · 0 评论 -
Storm的系统架构
系统架构 nimbus 调度topology,将调度信息写入ZK 管理集群,检查supervisor/worker心跳,处理异常 处理topology submit、kill、rebalance等请求 提供查询cluster/topology状态的thrift接口 提供文件(如topology程序jar包)上传下载服务 supervisor 管理worker 根据ZK调度信息启动w原创 2015-08-13 17:44:12 · 1047 阅读 · 0 评论 -
storm安装
1、启动zookeeper storm运行依赖zookeeper,所以在安装storm前必须安装和启动zookeeper2、配置storm的storm/conf/storm.yaml文件内容: storm.zookeeper.servers: - 127.0.0.1 storm.zookeeper.port: 2181 nimbus.host: "1原创 2015-11-18 09:53:55 · 990 阅读 · 0 评论