storm实现迷你批量提交

最新推荐文章于 2021-03-22 08:47:47 发布
最新推荐文章于 2021-03-22 08:47:47 发布
阅读量211 收藏
点赞数
分类专栏： 大数据 storm 文章标签： 大数据
storm中有种应用场景,是迷你批量,比如积攒一定数量的tuple,超过一定时间或者数量之后,把这些tuple统一处理.
想到了以下三种思路
1 在bolt中额外启动一个线程.不过在bolt中启动线程就要考虑并发的问题
2 定义另一个command stream,根据需要向这个command stream发tuple.bolt根据tuple的sourceStreamId判断是正常的stream
还是command stream.
这样需要在建立拓扑时有一些额外操作,比如为command stream建立一个spout,每个bolt用allGrouping从command stream的spout来接收命令
3 如果只是单纯想获得定时tick,可以设置Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS,这样bolt就会在指定的间隔下收到特定的tuple
iteye_12858
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Storm JDBC插入数据到数据库
Nougats的博客
07-17 2198
storm jdbc添加依赖 <dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-jdbc</artifactId> <version>${storm.v
Storm集群常用批量操作命令
弹指天下
02-19 1286
假设集群有100个节点，主机名分别为node1，node2，node3……node100。对于node1节点ssh到其他节点，已经实现了ssh无密码访问。 1.关闭集群的防火墙（运行在root用户下） For  i in  (seq   1  100 );     Do    ssh node$i   “hostname;  service  iptable  stop;     ch
java操作storm,Storm集群常用批量操作命令
weixin_42300144的博客
03-22 120
假设集群有100个节点，主机名分别为node1，node2，node3……node100。对于node1节点ssh到其他节点，已经实现了ssh无密码访问。1.关闭集群的防火墙(运行在root用户下)For iin (seq 1100 );Do sshnode$i “hostname;service iptable stop;chkconfig iptables...
strom批量发送(实现IBatchSpout接口、non-tranctional spout)
u010634288的博客
04-16 970
在该例子中，使用IBatchSpout接口实例化一个spout，重写emitBatch方法,方法中将根据batchId将数据batchesMap中(batchesMap其实就是一个批的概念，这批数据可以自己指定，我这里就是指定了4批的数据，也就是DATA_MAP里面的数据，由于在emitBatch会指定一个batchId，所以这个batchId就和这一批数据进行挂钩。如果以后有事务，那么这批数据其
storm中使用jdbc向mysql进行批量插入的坑
CxCo的专栏
11-18 5226
本次在storm中进行jdbc批量insert的时候，jdbc使用了executebatch进行批量插入，老是报statement cancelled due to timeout or client request错误，因为插入的数据量比较大。（默认超时为30s） 但是在本地自己测试往耗时是8秒。。。。 最后，找到了问题所在。jdbc url配置的时候需要设置rewriteBatch
Storm API实现词频统计
05-30
生成的JAR文件（如`storm_demo.jar`）可以用Storm的命令行工具提交到本地或远程的Storm集群上运行，例如`storm jar storm_demo.jar WordCountTopology wordcount`。 5. **监控与调试** Storm提供了Web UI，可以...
使用Storm实现实时大数据分析！
02-26
简单和明了，Storm让大数据分析变得轻松加愉快。当今世界，公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据，网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据...
storm提交topology的过程共1页.pdf.zip
11-22
【标题】"storm提交topology的过程"涉及到的是Apache Storm这一分布式实时计算系统中的核心操作——部署和运行流处理任务，即topology。Apache Storm被广泛应用于实时数据处理、在线机器学习、持续计算以及大规模...
storm实现井字棋游戏源码
01-24
标题 "storm实现井字棋游戏源码" 涉及的核心技术是Apache Storm，这是一个分布式实时计算系统，常用于处理大规模的数据流。井字棋游戏（Tic-Tac-Toe）是一个简单的两人对战游戏，这里用Storm实现，可能是为了展示...
storm-jdbc的使用
weixin_33882443的博客
06-04 162
最近项目组分配到研究storm-jdbc用法 发现网上关于insert和query方法挺多的，但是自定义方法很少。而且用法上也挺多缺陷。在此自己总结记录一下 JdbcInsertBolt 的核心代码 /* * * JdbcInsertBolt org.apache.storm 默认包下 此类不会进行emit。所以插入数据后不能接下层bolt * 如果需要在插入...
Storm定时匹配插入mysql,源数据录入hdfs
03-02
Storm定时匹配成功后插入mysql；源数据通过插件批量录入hdfs
Storm滑动窗口实现批量计算
sawen21的专栏
03-31 5380
storm是一个流式处理框架，可以做到Spout产生一条数据，Bolt处理一条以达到实时计算。 这种模式并不是实际的业务需要的，我们更多是需要 最近5分钟的PV UV ,最近10分钟的网络最大延迟,最近5分钟页面访问TOP10 这类问题都可以抽象为：每隔M秒统计最近N秒内的数据，即我们需要一个滑动窗口（固定时间段）来控制数据流量 因为storm 未提供api封装，滑动窗口只能自己来实现
Storm读取Mysql数据库不能加大bolt并行数写入hdfs解决方法
淡若晨岚
11-17 1738
解决方法：建立一个中间表        spout发射数据给bolt,bolt进行数据清洗，然后插入到一张中间表里面，然后再写一个spout，这个spout不发射数据，每次next时去中间表查看，如果超过预计数据的条数，可以读过来批量插入到hdfs里，一直只有一个spout在写hdfs，或者不写spout，直接写个java程序，每分钟看一次数据库中间表，有数据就写入hdfs。同样，bolt每次被
Storm与JDBC整合
CxCo的专栏
10-14 8753
Storm JDBC包含了核心的bolts以及trident states可以使storm topology即能对一个数据库表插入storm tuples又能对数据库进行查询操作，并且丰富了tuple的作用。 注意：在下面的例子中，我们使用了 com.google.common.collect.Lists和com.google.common.collect.Maps. 对数据库进行插入操作
storm学习(3)——storm任务提交流程
逆流而上Mr李
04-11 353
Storm 任务提交的过程
Storm读取Mysql数据库表写入Mysql数据库另一张表
淡若晨岚
11-17 3996
1、spout： package com.TestStorm; import java.io.BufferedReader; import java.io.FileNotFoundException; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; import java.io.
Storm之——组合多种流操作
冰河的专栏
11-05 2348
Storm支持流聚合操作，将多个组件emit的数据，汇聚到同一个处理组件来统一处理，可以实现对多个Spout组件通过流聚合到一个Bolt组件（Sout到Bolt的多对一、多对多操作），也可以实现对多个Bolt通过流聚合到另一个Bolt组件（Bolt到Bolt的多对一、多对多操作）。实际，这里面有两种主要的操作，一种是类似工作流中的fork，另一种是类似工作流中的join。下面，我们实现一个例子来演
storm 批处理（窗口）
weixin_30855099的博客
05-02 210
一、Storm Storm是一个实时的可靠地分布式流计算框架。一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）；通过Storm对消息进行计算聚合等预处理；把处理结果持久化到数据库或者HDFS做进一步深入分析。 Storm中分为Topology开发和Trident开发，Trident是一种高度抽象的实时计算模型，是一种有状态的流式...
storm+拓扑+提交
最新发布
12-01
以下是Storm拓扑提交的步骤： 1.编写Storm拓扑代码，包括Spout和Bolt等组件。 2.将拓扑打包成jar包。 3.在Storm集群上运行storm nimbus和storm supervisor。 4.使用storm jar命令将jar包提交到Storm集群中，例如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值