Storm
阳小林
这个作者很懒,什么都没留下…
展开
-
WordCountTopology的实现
流程图如下:编写SentenceSpoutpackage com.ibeifeng.bigdata.storm.topo;import backtype.storm.spout.SpoutOutputCollector;import backtype.storm.task.TopologyContext;import backtype.storm.topology.IRichSpout;im原创 2016-12-21 18:10:34 · 1339 阅读 · 0 评论 -
Strom组件的介绍
Storm的整体架构Numbus:为主节点,主要负责任务的提交,集群任务的分配,以及集群的监控Zookeeper集群:存放心跳信息,集群状态,配置信息,接收来自Numbus要分发给Supervisor的任务Supervisor:负责从Zookeeper领取Numbus分发的任务,启动和停止自己管理的worker进程Worker:负责运行处理业务逻辑的ExecutorTask:worker中每原创 2016-12-21 17:38:19 · 849 阅读 · 0 评论 -
(1)Storm实时日志分析实战--项目准备
流程图Flume收集Nginx的日志,然后存在Kafka队列中,由storm读取Kafka中的日志信息,经过相关处理后,保存到HBase和MySQL中安装步骤Kafka从官网下载安装包, 解压到安装目录到kafka官网下载页面下载:http://kafka.apache.org/downloads版本:kafka_2.10-0.8.1.1.tgz$ tar -zxvf kafka_2.10-0.8原创 2016-12-23 16:55:21 · 4007 阅读 · 0 评论 -
(2)Storm实时日志分析实战--Topology的设计
需求日志数据样例: 215.187.202.215 - - [1481945172991] “GET/IBEIfeng.gif?order_id=1&orderTime=1481945172991&memberId=1234568970080798&productInfos=10009-2703.88-B-1|10001-2494.47-D-2|10003-2561.05-A-1&orderAm原创 2016-12-26 15:26:33 · 2508 阅读 · 2 评论 -
(3)Storm实时日志分析实战--编码实现
LogParserBolt类package com.ibeifeng.bigdata.storm.weglog;import backtype.storm.task.OutputCollector;import backtype.storm.task.TopologyContext;import backtype.storm.topology.IBasicBolt;import backtyp原创 2016-12-27 11:08:54 · 2439 阅读 · 3 评论 -
Storm单机安装
这里选择安装0.96版本,按照官网的要求,还需要java1.6和Python2.6,因为我的系统已经安装了,所以不在安装(1)下载安装包,上传到Linux,解压到安装目录: tar -zxvf apache-storm-0.9.6.tar.gz -C /work/opt/modules/ (2)配置conf/storm.yaml storm.zookeeper.原创 2016-12-20 16:50:04 · 2402 阅读 · 0 评论 -
停止storm任务的两种方式
(1)通过命令行[beifeng@bigdata01 storm-0.9.6]$ bin/storm kill wordcount其中,wordcout为topology的名称,即提交jar包是指定的topology名称(2)通过web页面点击wordcount进入topology详情页面: topology详情页面如下:点击ki原创 2016-12-20 17:21:24 · 13713 阅读 · 0 评论 -
编写Strom启动和停止集群的脚本
(1)storm-start.sh#!/bin/bashSTORM_HOME=/work/opt/modules/storm-0.9.6#1.在本机上启动nimbus和ui进程nohup ${STORM_HOME}/bin/storm nimbus >/dev/null 2>&1 &nohup ${STORM_HOME}/bin/storm ui >/dev/null 2>&1原创 2016-12-20 18:33:08 · 1638 阅读 · 0 评论