Storm-风暴
_东极
少年锦时
展开
-
Storm模拟将接收到日志的会话id打印在控制台
需求:(1)模拟访问网站的日志信息,包括:网站名称、会话id、访问网站时间等(2)将接收到日志的会话id打印到控制台分析 (1)创建网站访问日志工具类 (2)在spout中读取日志文件,并一行一行发射出去 (3)在bolt中将获取到的一行一行数据的会话id获取到,并打印到控制台。 (4)main方法负责拼接spout和bolt的...原创 2018-12-12 15:33:04 · 547 阅读 · 0 评论 -
Storm搭建
进入官方网址:http://storm.apache.org/官网步骤:Set up a Zookeeper clusterInstall dependencies on Nimbus and worker machinesDownload and extract a Storm release to Nimbus and worker machinesFill in mandat...原创 2018-12-11 21:30:14 · 341 阅读 · 0 评论 -
Strom的编程模型和核心
原创 2018-12-11 20:23:20 · 386 阅读 · 0 评论 -
Storm基本概述
概述离线计算:批量的获取数据,批量传输数据,周期性批量计算数据,数据展示代表技术:Sqoop批量导入数据,HDFS批量存储数据,MapReduce批量计算数据,hive批量计算数据等流式计算数据实时产生,数据实时传输,数据实时计算,实时展示代表技术:Flume实时获取数据,Kafka实时数据存储,Strom/JStrom实时数据计算,Redis实时结果缓存,持久化存储(mysql)两...原创 2018-12-11 01:30:51 · 651 阅读 · 0 评论 -
Storm实时计算网站的UV
(1)创建带IP地址的数据源GenerateDatapackage storm.uv;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.util.Random;public class GenerateData { public static ...原创 2018-12-13 20:42:58 · 559 阅读 · 0 评论 -
Storm实时计算网站pv
PVBolt1进行多并发局部汇总,PVSumbolt单线程进行全局汇总(1)创建数据输入源PVSpoutpackage storm.test;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;...原创 2018-12-13 01:10:04 · 487 阅读 · 0 评论 -
[main-SendThread(127.0.0.1:2000)] INFO o.a.s.s.o.a.z.ClientCnxn - Opening sosStorm本地运行报错
java.net.ConnectException: Connection refused: no further information一堆信息,意思是zookeeper本地模拟端口被占用,自己没有启动其他程序,storm一直运行不起来,解决方法:重新关闭idea,开启...原创 2018-12-13 01:05:35 · 1682 阅读 · 0 评论 -
Storm实现单词统计案例
需求实时统计发射到Storm框架中单词的总数分析设计一个topology,来实现对文档里面的单词出现的频率进行统计,整个topology分为三个部分(1)WordCountSpot:数据源,在已知的英文句子中,随机发送一条句子出去package storm.wordcount;import org.apache.storm.spout.SpoutOutputCollector...原创 2018-12-12 22:35:17 · 965 阅读 · 0 评论 -
org.apache.storm.generated.InvalidTopologyException: null 错误解析
主驱动程序中 TopologyBuilder builder = new TopologyBuilder(); builder.setSpout("WordCountSpout",new WordCountSpout(),1); builder.setBolt("WordCountSplitBolt",new WordCountSplitBolt(),2).sh...原创 2018-12-12 22:26:31 · 1353 阅读 · 0 评论 -
storm的并发度
场景分析单线程下:加减乘除,全局汇总多线程下:局部加减乘除,持久化DB,多个bolt汇总一个bolt使用场景网站最常用的两个指标:PV(page views):count (session_id) 即页面浏览量。UV(user views):count(distinct session_id) 即独立访客数。a)用ip地址分析指访问某个站点或点击某个网页的不同ip的人数...原创 2018-12-12 17:47:48 · 456 阅读 · 0 评论 -
Storm分组策略
Spout数据源的思考数据库:只适合读取数据库的配置文件文件:只适合测试(开发过程中是分布式的集群)企业产生的log文件处理步骤:读取内容写入到MQStorm再处理分组策略(Stream Grouping)stream grouping用来定义一个stream应该如何分配给Bolts上面的多个executor(多线程并发)Strom里面有7种类型的Stream groupin...原创 2018-12-12 16:40:53 · 486 阅读 · 0 评论 -
Storm命令以及常用API
Storm命令行操作1)nimbus:启动nimbus守护进程 storm nimbus2)supervisor:启动supervisor守护进程 storm supervisor3)ui:启动UI守护进程。 storm ui4)list:列出正在运行的拓扑及其状态 storm list5)logviewer:Logview...原创 2018-12-12 00:54:51 · 1169 阅读 · 0 评论