Storm
文章平均质量分 59
jyj019
向着喜欢的道路前进
展开
-
关于Storm实时往HBase存数据的性能优化
在开发中根据业务逻辑,需要存储在Storm中每个Spout和Bolt中产生的数据到HBase表中。在程序调优的过程中不断调整和优化了几种方案。 1.直接在每个Spout和Bolt中连接HBase存放数据 这是首先考虑和测试的选择,也是最先放弃的选择,短时多次建立连接会造成资源的浪费和排队,存储的时间的过长也会影响Topology流的稳定性和实时性。 8.16补充: 后期实时性要求降低,HB...原创 2018-06-27 11:33:22 · 1293 阅读 · 0 评论 -
关于Storm中Spout拉取和发送数据的一种优化思路
一般storm的open是作为配置加载项的,但是在实际的操作中也可以在open中从Kafka拉取数据,在nextTuple发送数据,这样减少了nextTuple中的资源消耗。这种方法的使用和线程相关,目前只能通过队列实现,用map等结构测试失败。 public void open(Map map, TopologyContext topologyContext, SpoutOutputCol...原创 2018-07-01 10:05:23 · 855 阅读 · 0 评论 -
Storm程序的mysql连接问题及可行的处理方式
最近遇到的连接问题我准备从重构的几个程序(redis和mysql)长连接和短连接,以及连接池和单连接等问题用几篇博客来总结下。这是最后一篇。 Storm程序因为有他本身框架的组合方式,只有再要输出的bolt创建jdbc对象(看起来和redis和hbase没什么区别)。但实际上却有不少的坑(有些坑我现在都没明白,只能说根据经验规避),最后两点体会: 尽量不要再storm程序中用mysql。 尽量减少storm程序中创建jdbc连接的bolt。原创 2019-01-27 09:27:20 · 1192 阅读 · 1 评论