![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Storm
阳小林
这个作者很懒,什么都没留下…
展开
-
WordCountTopology的实现
流程图如下:编写SentenceSpout package com.ibeifeng.bigdata.storm.topo;import backtype.storm.spout.SpoutOutputCollector; import backtype.storm.task.TopologyContext; import backtype.storm.topology.IRichSpout; im原创 2016-12-21 18:10:34 · 1346 阅读 · 0 评论 -
Strom组件的介绍
Storm的整体架构Numbus:为主节点,主要负责任务的提交,集群任务的分配,以及集群的监控 Zookeeper集群:存放心跳信息,集群状态,配置信息,接收来自Numbus要分发给Supervisor的任务 Supervisor:负责从Zookeeper领取Numbus分发的任务,启动和停止自己管理的worker进程 Worker:负责运行处理业务逻辑的Executor Task:worker中每原创 2016-12-21 17:38:19 · 867 阅读 · 0 评论 -
(1)Storm实时日志分析实战--项目准备
流程图Flume收集Nginx的日志,然后存在Kafka队列中,由storm读取Kafka中的日志信息,经过相关处理后,保存到HBase和MySQL中安装步骤Kafka 从官网下载安装包, 解压到安装目录到kafka官网下载页面下载:http://kafka.apache.org/downloads版本:kafka_2.10-0.8.1.1.tgz$ tar -zxvf kafka_2.10-0.8原创 2016-12-23 16:55:21 · 4019 阅读 · 0 评论 -
(2)Storm实时日志分析实战--Topology的设计
需求日志数据样例: 215.187.202.215 - - [1481945172991] “GET/IBEIfeng.gif?order_id=1&orderTime=1481945172991&memberId=1234568970080798&productInfos=10009-2703.88-B-1|10001-2494.47-D-2|10003-2561.05-A-1&orderAm原创 2016-12-26 15:26:33 · 2520 阅读 · 2 评论 -
(3)Storm实时日志分析实战--编码实现
LogParserBolt类package com.ibeifeng.bigdata.storm.weglog;import backtype.storm.task.OutputCollector; import backtype.storm.task.TopologyContext; import backtype.storm.topology.IBasicBolt; import backtyp原创 2016-12-27 11:08:54 · 2446 阅读 · 3 评论 -
Storm单机安装
这里选择安装0.96版本,按照官网的要求,还需要java1.6和Python2.6,因为我的系统已经安装了,所以不在安装 (1)下载安装包,上传到Linux,解压到安装目录: tar -zxvf apache-storm-0.9.6.tar.gz -C /work/opt/modules/ (2)配置conf/storm.yaml storm.zookeeper.原创 2016-12-20 16:50:04 · 2409 阅读 · 0 评论 -
停止storm任务的两种方式
(1)通过命令行 [beifeng@bigdata01 storm-0.9.6]$ bin/storm kill wordcount 其中,wordcout为topology的名称,即提交jar包是指定的topology名称 (2)通过web页面 点击wordcount进入topology详情页面: topology详情页面如下: 点击ki原创 2016-12-20 17:21:24 · 13762 阅读 · 0 评论 -
编写Strom启动和停止集群的脚本
(1)storm-start.sh #!/bin/bash STORM_HOME=/work/opt/modules/storm-0.9.6 #1.在本机上启动nimbus和ui进程 nohup ${STORM_HOME}/bin/storm nimbus >/dev/null 2>&1 & nohup ${STORM_HOME}/bin/storm ui >/dev/null 2>&1原创 2016-12-20 18:33:08 · 1649 阅读 · 0 评论