storm
关注
分享
扫一扫
王树民
大JAVA
展开
-
storm 批处理（窗口）
storm 批处理（窗口）一、StormStorm是一个实时的可靠地分布式流计算框架。一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）；通过Storm对消息进行计算聚合等预处理；把处理结果持久化到数据库或者HDFS做进一步深入分析。 Storm中分为Topology开发和Trident开发，Trident是一种高度抽象的实...原创 2019-03-29 08:54:41 · 431 阅读 · 0 评论 -
【storm配置参数详解】
【storm配置参数详解】博客分类： 大数据--Stormstorm配置参数详解 java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib" ### storm.* configs are general configurations # the local dir is where jars are keptstorm.local.d...转载 2018-06-18 15:03:01 · 2702 阅读 · 0 评论 -
Centos下安装nc命令工具及问题解答
Centos下安装nc命令工具及问题解答2017年03月28日 13:57:02阅读数：8579netcat(nc)是一个简单而有用的工具，被誉为网络安全界的“瑞士均道”，不仅可以通过使用TCP或UDP协议的网络连接读写数据，同时还是一个功能强大的网络调试和探测工具，能够建立你需要的几乎所有类型的网络连接。在Linux终端窗口可以直接使用yum工具进行安装：[root@master01 spark...转载 2018-06-17 20:24:43 · 1448 阅读 · 0 评论 -
Linux nc出现protocol not available错误
Linux nc出现protocol not available错误2016年08月16日 10:44:37阅读数：2694最近折腾linux nc（netcat）命令时执行 nc -l 1567 监听命令遇到protocol not available，琢磨了很久终于找到了一个可行的解决办法：1、先将已安装的nc删除yum erase nc2.下载较低版本的nc的.rpm文件 6 4位 ...转载 2018-06-17 18:54:35 · 1451 阅读 · 0 评论 -
centOS 安装NC 包
2018年01月02日 22:34:17阅读数：2691 下载nc rpm 包下载地址：http://rpmfind.net/linux/rpm2html/search.php?query=nc2 找到对应的操作系统的NC包如：nc-1.84-24.el6.x86_64.rpm 123 上传到操作系统4 执行安装：rpm -ivh nc-1.84-24.el6.x86_64.rpm5 验证： n...转载 2018-06-17 18:37:04 · 2452 阅读 · 0 评论 -
Storm错误调试：java.lang.ClassNotFoundException: backtype.storm.topology.IRichSpout
Storm错误调试：java.lang.ClassNotFoundException: backtype.storm.topology.IRichSpout2018年04月11日 11:35:40阅读数：201用Maven运行Storm程序抛错误：java.lang.ClassNotFoundException: backtype.storm.topology.IRichSpout。原因是一开始使...转载 2018-06-17 12:55:17 · 654 阅读 · 0 评论 -
Caused by: java.lang.ClassNotFoundException: backtype.storm.topology.IRichSpout
Caused by: java.lang.ClassNotFoundException: backtype.storm.topology.IRichSpout2018年01月28日 12:51:06阅读数：1681：初次运行Strom程序出现如下所示的错误，贴一下，方便脑补，也希望帮助到看到的小伙伴：错误如下所示，主要问题是刚开始使用maven获取jar包的时候需要写<scope>pr...转载 2018-06-17 12:53:08 · 947 阅读 · 0 评论 -
使用IntelliJ IDEA导入storm-starter并测试WordCountTopology运行出现 A JNI error has occurred的原因和解决
使用IntelliJ IDEA导入storm-starter并测试WordCountTopology运行出现 A JNI error has occurred的原因和解决2017年07月09日 14:20:46阅读数：8917第一次导入storm包并测试WordCountTopology，出现如下截图错误：解决方法：1.查看POM文件：上图的POM文件中配置参数为：provided应改为：comp...转载 2018-06-17 12:17:07 · 4662 阅读 · 1 评论 -
Storm 原理机制杂记
2018年03月12日 18:40:58阅读数：41Storm 原理机制杂记作者：paul_wei2008Storm：Storm是Twitter开源的分布式实时计算系统，Storm通过简单的API使开发者可以可靠地处理无界持续的流数据，进行实时计算，开发语言为Clojure和Java，非JVM语言可以通过stdin/stdout以JSON格式协议与Storm进行通信。Storm的应用场景很多：实时...转载 2018-06-24 12:50:16 · 177 阅读 · 0 评论 -
Flume+Kafka+Storm+Redis实时分析系统基本架构
Flume+Kafka+Storm+Redis实时分析系统基本架构原创 2016年07月24日 01:24:08标签：storm /大数据 /实时计算架构 /kafka /redis29715今天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一 个简单的入门级架构，实际生产环境中的大数据实时分析技术还涉及...转载 2018-04-05 12:04:05 · 251 阅读 · 0 评论 -
storm实时消费kafka数据
storm实时消费kafka数据原创 2017年06月05日 16:30:15标签：storm /kafka-java4635程序环境，在kafka创建名称为data的topic,开启消费者模式，准备输入数据。程序的pom.xml文件 <dependencies> <dependency> <groupId>org.apache.storm&...转载 2018-04-05 12:04:13 · 2032 阅读 · 0 评论 -
storm实际使用经验
torm实际使用经验2016年03月09日 16:53:25阅读数：5849一、使用组件的并行度代替线程池 Storm 自身是一个分布式、多线程的框架，对每个Spout 和Bolt，我们都可以设置其并发度；它也支持通过rebalance 命令来动态调整并发度，把负载分摊到多个Worker 上。 如果自己在组件内部采用线程池做一些计算密集型的任务，比如JSON 解析，有可能...转载 2018-06-18 15:23:54 · 1558 阅读 · 0 评论 -
Storm-kafka源码分析之Config相关类
要创建一个KafkaSpout对象，必须要传入一个SpoutConfig对象，KafkaSpout的构造函数定义如下：public KafkaSpout(SpoutConfig spoutConf) { _spoutConfig = spoutConf;}SpoutConfig继承KafkaConfig，并实现Serializable，由于在KafkaConfig中所有的属性字段都是pu...转载 2018-07-09 10:39:33 · 159 阅读 · 0 评论 -
storm-kafka编程
2017年08月13日 20:08:45阅读数：763storm-kafka编程指南@(STORM)[kafka, 大数据, storm]storm-kafka编程指南一原理及关键步骤介绍一使用storm-kafka的关键步骤1创建ZkHosts2创建KafkaConfig3设置MultiScheme4创建Spout5建立拓扑二当拓扑出错时如何从上一次的kafka位置继续处理消息关于storm-k...转载 2018-07-09 10:57:16 · 1003 阅读 · 2 评论 -
《从零开始学Storm》试读：在这一章，你将学会如何在Storm拓扑的不同组件之间传输元组，以及如何部署拓扑到一个运行中的Storm集群。
《从零开始学Storm》试读：在这一章，你将学会如何在Storm拓扑的不同组件之间传输元组，以及如何部署拓扑到一个运行中的Storm集群。3.1 什么是拓扑 要使用Storm做实时计算，首先需要创建所谓的“拓扑（Topology）”。一个拓扑是一个有向图的计算。在一个拓扑中的每个节点包含处理逻辑，节点之间的连接显示数据应该如何在节点之间传递。 拓扑的运行是很简单的。首先，打包所有的代码和依赖到...转载 2018-12-19 17:36:38 · 280 阅读 · 0 评论 -
Storm环境配置及吞吐量测试调优总结
Storm环境配置及吞吐量测试调优总结2017年10月19日 17:03:53阅读数：10867问题导读1.本文集群环境是什么？2.配置中worker和slot是什么关系？3.吞吐量是如何测试的？ 1、硬件配置信息 6台服务器，2个CPU，96G，6核，24线程 2、集群信息 Storm集群：1个nimbus，6个supervisorni...原创 2018-07-23 09:32:15 · 1305 阅读 · 0 评论 -
Storm通信机制
置顶2017年02月17日 14:39:26阅读数：947Worker间的通信经常需要通过网络跨节点进行，Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。Worker进程内部通信：不同worker的thread通信使用LMAX Disruptor来完成。 不同topologey之间的通信，Storm不负责，需要自己想办法实...转载 2018-07-20 09:03:13 · 248 阅读 · 0 评论 -
Storm的并行度详解 Strom Topology执行分析：worker数，Bolt实例数，executor数，task数
2017年12月13日 21:07:01阅读数：672Storm的并行度详解Storm的并行度是非常重要的，通过提高并行度可以提高storm程序的计算能力。那strom是如何提高并行度的呢？Strom程序的执行是由多个supervisor共同执行的。supervisor运行的是topology中的spout/bolt tasktask 是storm中进行计算的最小的...转载 2018-07-19 12:57:18 · 1132 阅读 · 0 评论 -
bolt BaseBasicBolt BaseRichBolt
原 2017年04月16日 16:21:28阅读数：412baseBasicBolt 自带ack 机制下面是BasicBoltExecutor的一段源码，如果你写的bolt跑出FailedException 异常，basicBolt会调用fail,如果处理成功，会调用ack方法 public void execute(Tuple input) { _colle...转载 2018-07-19 12:46:28 · 482 阅读 · 0 评论 -
linux netstat 统计连接数查看
2014年12月30日 18:05:30阅读数：5983服务器上的一些统计数据1)统计80端口连接数netstat -nat|grep -i "80"|wc -l2）统计httpd协议连接数ps -ef|grep httpd|wc -l3）、统计已连接上的，状态为“establishednetstat -na|grep ESTABLISHED|wc -l4)、查出哪个I...转载 2018-07-23 12:46:40 · 3310 阅读 · 0 评论 -
TPS低，CPU高--记一次storm压测问题排查过程
一、业务背景+系统架构 本次场景为kafka+storm+redis+hbase，通过kafka的数据，进入storm的spout组件接收，转由storm的Bolt节点进行业务逻辑处理，最后再推送进kafka。表数据相关的逻辑为：查询Hbase表数据，首次查询会写入redis和storm cache，再次查询，会直接从redis或cache中取值。 storm应用：二、性能...转载 2018-07-09 16:16:22 · 1627 阅读 · 0 评论 -
Storm实战常见问题及解决方案
2014年08月11日 14:30:47阅读数：52078该文档为实实在在的原创文档，转载请注明:http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html类型详细备注该文档是群里几个朋友在storm实战中遇到的一些问题，及其对应解决办法。 相关描述² 其他相关文档请参考新浪博客http://blog.sina.com.cn/huangchongy...转载 2018-07-09 16:09:05 · 1467 阅读 · 0 评论 -
storm优化方向
原创 2018-07-09 14:39:27 · 262 阅读 · 0 评论 -
用Netty开发中间件：高并发性能优化
2016-02-02 15:26 by Loull, 14874 阅读, 2 评论, 收藏, 编辑用Netty开发中间件：高并发性能优化最近在写一个后台中间件的原型，主要是做消息的分发和透传。因为要用Java实现，所以网络通信框架的第一选择当然就是Netty了，使用的是Netty 4版本。Netty果然效率很高，不用做太多努力就能达到一个比较高的tps。但使用过程中也碰到了一些问题，个人觉得都是比...转载 2018-07-09 13:42:19 · 1847 阅读 · 0 评论 -
Kafka的Topic操作
Kafka的Topic操作原创 2017年04月19日 19:57:431877Kafka shell topic操作 创建Topic hadoop kafka]# bin/kafka-topics.sh --create --topic hadoop --zookeeper master:2181,slave01:2181,slave02:2181 --...转载 2018-03-29 09:08:06 · 2657 阅读 · 0 评论 -
flume抓取数据到kafka(整合)
flume抓取数据到kafka(整合)原创 2017年08月10日 20:22:351201、flume-apache.conf --不需要修改** 监控apache web应用的日志文件2、flume-hive.conf --不需要修改** 监控hive日志文件$ sbin/start-dfs.sh ;sbin/start-yarn.sh ;mr-jobhistory-daemo...转载 2018-03-29 08:57:22 · 1810 阅读 · 0 评论 -
Storm如何保证这些数据不被重复计算？
推荐慕课网视频：http://www.imooc.com/video/10055 另外，关于Storm并发度，已经整理到另一篇博客中，希望对读者有所帮助。请参考：http://www.cnblogs.com/quchunhui/p/8271349.html ====Storm的起源。Storm是开源的、分布式、流式计算系统 什么是分布式呢？就是将一个任务拆解给多个计算机去执行，让许多机器共通完成同...转载 2018-02-25 10:27:57 · 5071 阅读 · 0 评论 -
storm入门简介及WordCount代码解析（一）
storm入门简介及WordCount代码解析（一）原创 2017年07月14日 21:38:02标签：storm /大数据1701.storm概述在大数据中数据处理有两种基本的方式：批处理和实时流处理，在大数据组件中，Hadoop中的MapReduce可以处理批处理，对应的Strom即为处理实时流数据的组件。 Storm是一个开源的分布式实时计算系统。2.Storm集群的基本架构如果你对Hado...转载 2018-02-24 20:02:07 · 269 阅读 · 0 评论 -
storm命令
[wangshumin@centoshostnameKL1 bin]$ storm jar learnStorm-1.0-SNAPSHOT.jar cn.itcast.storm.wordcount.StormTopologyDriverRunning: /home/wangshumin/app/jdk1.7.0_65/bin/java -client -Dstorm.options= -Dsto...原创 2018-02-24 19:32:05 · 233 阅读 · 0 评论 -
后台启动集群 和 Storm常用操作命令
4、安装storm4.1、下载安装包 wget http://124.202.164.6/files/1139000006794ECA/apache.fayea.com/storm/apache-storm-0.9.5/apache-storm-0.9.5.tar.gz 4.2、解压安装包tar -zxvf apache-storm-0.9.5.tar.gz -C /export/serve...原创 2018-02-24 18:52:36 · 3545 阅读 · 0 评论 -
Storm集群已经部署、配置完毕，向集群提交任务。
原文：http://www.it610.com/article/1961490.htm启动Storm的所有后台进程。和Zookeeper一样，Storm也是快速失败（fail-fast)的系统，这样Storm才能在 任意时刻被停止，并且当进程重启后被正确地恢复执行。这也是为什么Storm不在进程内保存状态的原因，即使Nimbus或Supervisors被重 启，运行中的Topologies不会受到...转载 2018-02-11 13:03:22 · 1058 阅读 · 0 评论 -
eclipse项目的maven工程找不到主类的解决办法
eclipse项目的maven工程找不到主类的解决办法 2017-06-01 23:45 690人阅读 评论(0) 收藏 举报 分类：java（5） 版权声明：本文为博主原创文章，未经博主允许不得转载。 http://blog.csdn.net/mqc19881123/article/details/72838016自己在做storm，然后做了个maven，结果pom文件第一行报错，如下 Miss...转载 2018-02-12 21:26:19 · 7442 阅读 · 0 评论 -
l 在nimbus.host所属的机器上启动 nimbus服务后台启动
4.5、启动集群l 在nimbus.host所属的机器上启动 nimbus服务cd /export/servers/storm/bin/nohup ./storm nimbus &l 在nimbus.host所属的机器上启动ui服务cd /export/servers/storm/bin/nohup ./storm ui &l 在其它个点击上启动supervisor服务cd /ex...转载 2018-02-12 20:13:19 · 917 阅读 · 0 评论 -
访问Storm ui界面，出现org.apache.thrift7.transport.TTransportException: java.net.ConnectException: Connecti
访问Storm ui界面，出现org.apache.thrift7.transport.TTransportException: java.net.ConnectException: Connection refused的问题解决（图文详解） 不多说，直接上干货！ 前期博客apache-storm-0.9.6.tar.gz的集群搭建（3节点）（图文详解） 问题详情org.a...转载 2018-02-12 19:46:23 · 3614 阅读 · 0 评论 -
Storm集群部署
Storm集群部署所有集群部署的基本流程都差不多：下载安装包并上传、解压安装包并配置环境变量、修改配置文件、分发安装包、启动集群、查看集群是否部署成功。1、所有的集群上都要配置hostsvi /etc/hosts192.168.33.201 storm1 hadoop1 zk1192.168.33.202 storm2 hadoop2 zk2192.168.33.203 storm...转载 2018-02-06 09:37:04 · 316 阅读 · 0 评论 -
Storm集群安装部署步骤
Storm集群安装部署步骤【详细版】转载 2015年06月09日 23:08:2611866作者: 大圆那些事 | 文章可以转载，请以超链接形式标明文章原始出处和作者信息网址: http://www.cnblogs.com/panfeng412/archive/2012/11/30/how-to-install-and-deploy-storm-cluster.html本文以Twitter Sto...转载 2018-02-11 13:15:39 · 172 阅读 · 0 评论 -
Storm是一个分布式的、高容错的实时计算系统。
1.hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什么？5.Nimbus和Supervisor之间的所有协调工作有master来完成，还是Zookeeper集群完成？6.storm稳定的原因是什么？7.如何运行Topology？str...转载 2018-02-25 11:57:14 · 3919 阅读 · 0 评论 -
Jstorm2.1.1集群安装
Jstorm2.1.1集群安装http://qindongliang.iteye.com/blog/2316201博客分类： stormjstorm Strom是什么？ storm是Twitter开源的的一个分布式的，容错的实时流计算系统，用来处理大数据系统中一些实时计算业务。strom本身是一个类似Hadoop的MapReduce的计算框架，最大不同在于storm是一个启动后不会停止的服务，除非...转载 2018-02-25 12:08:23 · 400 阅读 · 0 评论 -
Storm ui 首页主要分为4块: Cluster Summary，Topology summary，Supervisor summary，Nimbus Configuration，如下图所示：
Storm ui 展示字段说明Storm ui 首页主要分为4块: Cluster Summary，Topology summary，Supervisor summary，Nimbus Configuration，如下图所示： Cluster SummaryVersion: storm 版本号Nimbus uptime: nimbus 运行时间Supervisor:storm集群中supervis...转载 2018-02-25 21:23:33 · 1361 阅读 · 0 评论 -
数据结构与算法的知识谱
原创 2018-03-29 08:26:07 · 186 阅读 · 0 评论