Trident exactly once实现原理

最新推荐文章于 2024-08-09 00:59:15 发布
最新推荐文章于 2024-08-09 00:59:15 发布
阅读量2k 收藏 4
点赞数
分类专栏： storm 文章标签： storm 事务
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vim_wj/article/details/75831677
版权
Trident是storm的一种微批处理架构，用于实现exactly-once语义。它通过txid管理和状态保存（Transactional/Opaque Transactional/Non-Transactional state）来确保一致性。Trident spout分为Transactional、Opaque Transactional和Non-Transactional三类，配合不同的state以实现不同程度的一致性。Opaque Transactional spout提供弱一致性，避免因消息中间件故障导致的阻塞问题。状态更新过程中，Transactional state仅根据txid判断更新，而Opaque transactional state则结合preValue来确保正确性。
摘要由CSDN通过智能技术生成

为了实现exactly-once，storm0.7.0开始支持transactional toplogy(事务topology)，也是微批处理架构，但目前已经不再维护(基本没有人用)，功能完全被trident所替代。准确的说，trident topology是从transactional topology的基本上发展而来，包括spout和state都延用的transactional topology的思路，最大的改变就是抽象出了stream的概念。

数据流对比

流对比1.jpg

原理简介

trident中将tuple封装成batch，每一个batch提供一个唯一的txid，数据的发送、提交、重发都是基于txid，以batch为单位进行。

实现exactly-once的关键在于状态的保存，就trident而言，包括：

  1. 元数据的保存，数据处理失败时，能知道要重发是哪些数据
  2. 中间状态的保存，重发数据时，能敏锐发现数据的状态是否已经更新过

trident只在用state来做中间状态保存的地方确保exactly once，而数据流并不一定要在所有的地方都需要用state，以wordcount为例，最终我们关心的只是单词的统计结果，中间的read和split并不需要关心，也就不需要保存state，因此，选择state的保存时机是重点

最低0.47元/天 解锁文章
vim_wj
关注
专栏目录
Exactly once 未必严格一次
SmartSi
08-21 215
分布式事件流处理已逐渐成为大数据领域的热点话题。该领域主要的流处理引擎（SPE）包括 Apache Storm、Apache Flink、Heron、Apache Kafka（Kafka Streams）以及 Apache Spark（Spark Streaming）等。处理语义是围绕 SPE 最受关注，讨论最多的话题之一，其中"严格一次（Exactly-once）" 是很多引擎追求的目标之一，很多 SPE 均宣称可提供"严格一次"的处理语义。然而。
Storm Trident原理与代码实例讲解
AI天才研究院
06-04 283
Storm Trident原理与代码实例讲解 1.背景介绍 在当今大数据时代，实时处理海量数据流成为了一个迫切的需求。Apache Storm作为一个分布式实时计算系统,为大规模流式数据处理提供了强大的支持。Storm Trident是Storm的一个高级抽象,它引入了状态持久化
流处理系统中的“Exactly Once”语义保证
走在前往架构师的路上
07-31 4280
前言 最近在学习一些流处理相关的知识，对比与笔者接触比较多的离线处理系统，实时流处理的有些地方还是比较有意思的。在这里面，最常被人提到的词应该是“Exactly Once”语义 ，在工作面试中，如果做过实时流系统，肯定免不了被问到“xx框架是如何做到Exactly Once的”？笔者最近在阅读Spark Streaming的官方文档中，提到了这一点，于是来做个小小的总结归纳。如果感兴趣的同学，请...
我们谈论的Exactly once到底是什么？
weixin_43167418的博客
01-11 6013
来自：掘金（作者：Flink_China）原文链接（底部链接可直达）：转自：https://juejin.cn/post/6844903857558913038英文原文：https://...
夜天之书 #11 Exactly-once
Miracle
09-07 226
Exactly-once 简而言之就是保证数据记录在整个计算过程中恰好被处理一次。显然，每条数据恰好处理一次是整个计算结果正确性的必要条件。同一进程的方法调用必定会执行，或者成功返回一个结...
流式处理 术语解释 Exactly-once与Effectively-once
热门推荐
冬的博客
01-01 1万+
分布式事件流处理已逐渐成为大数据领域的热点话题。该领域主要的流处理引擎（SPE）包括 Apache Storm、Apache Flink、Heron、Apache Kafka（Kafka Streams）以及 Apache Spark（Spark Streaming）等。处理语义是围绕 SPE 最受关注，讨论最多的话题之一，其中“严格一次（Exactly-once）”是很多引擎追求的目标之一，很多...
trident原理及编程指南
jediael_lu的专栏
08-13 2085
trident原理及编程指南@(STORM)[storm, 大数据]trident原理及编程指南 一理论介绍 一trident是什么 二trident处理单位 三事务类型 1spout类型 2state类型 3实现恰好一次的spout与state组合类型 二编程指南 1定义输入流 2统计单词数量 3输出统计结果 4split的字义 三使用kafka作为数据源 1定义kafka相关配置 2从kafka
Storm_Trident
08-18
Trident的核心理念是将数据流划分为一系列的小批量（trident批次），这些小批量可以进行精确一次（exactly-once）的处理，确保数据处理的准确性和可靠性。 ### 1. Trident的基本概念 - **Trident批次（Trident ...
Storm Topology原理与代码实例讲解
最新发布
AI天才研究院
08-09 885
Storm Topology: Principles and Code Examples 1. Background Introduction Apache Storm is a free
[PyFlink 从入门到精通] Exactly-Once 的实现
weixin_39334709的博客
11-24 767
1、常见的语义特征 常见的语义特性有如下 3 种： Exactly-Once：严格一次(中断后从断点恢复)。数据或事件可以保证被应用程序中的所有运算符严格地仅处理一次。 At-Most-Once：最多一次(中断后从当前恢复)。数据或事件可以保证被应用程序中的所有运算符最多处理一次。 At-Least-Once：最少一次(中断后从头恢复)。数据或事件可保证被应用程序图中的所有运算符最少处理一...
pulsar 中的 exactly once 语义
回归心灵的专栏
04-08 8456
pulsar 中的 Exactly Once 语义
说说你了解的exactly once
GabrielCP的博客
01-17 193
流处理（streaming process），有时也被称为事件处理（event processing），可以被简洁地描述为对于一个无限的数据或事件序列的连续处理。一个流，或事件，处理应用可以或多或少地由一个有向图，通常是一个有向无环图（DAG），来表达。在这样一个图中，每条边表示一个数据或事件流，而每个顶点表示使用应用定义好的逻辑来处理来自相邻边的数据或事件的算子。其中有两种特殊的顶点，通常被称作sources与sinks。Sources消费外部数据/事件并将其注入到应用当中，而sinks通常收集由应用产生
流式处理术语解释：Exactly-once与Effectively-once
weixin_44240370的博客
10-11 578
分布式事件处理现在已经逐渐成为大数据领域的热点话题，主要使用的流处理引擎包括Storm、Flink、Spark(Spark Streaming)、HERON等等。其中“严格一次(Exactly-once)”是很多引擎追求的目标之一，很多引擎宣称可以提供“严格一次”的处理语义。 但是“严格一次”具体指的是什么，需要具备哪些能力，当SPE宣称可以支持时这实际上意味着什么对于这些问题还有很多歧义和误导。...
谈谈流计算中的『Exactly Once』特性
weixin_33736832的博客
05-31 272
作者：宝牛 本文翻译自 streaml.io 网站上的一篇博文：“Exactly once is NOT exactly the same” ，分析了流计算系统中常说的『Exactly Once』特性，主要观点是：『精确一次』并不保证是完全一样。主要内容如下： 背景 1.1. 最多一次（At-most-once） 1.2. 至少一次（At-least-once） 1.3. 精确一次...
Kafka的Exactly Once和事务
define_us的专栏
10-16 3288
Kafka的实现 RocketMQ RocketMQ原声支持事务。
流计算中的 Exactly Once 语义
weixin_44519468的博客
05-17 616
在大数据领域，分布式事件流处理已经成为了热门话题。目前流行的流处理引擎包括 Apache Storm、Apache Flink、Heron、Apache Kafka（Kafka Streams）和 Apache Spark（Spark Streaming）。流处理引擎被广泛讨论的一个特性——Extractly-Once，很多引擎也已经宣称支持。 然而，关于 Extractly-Once 是什么，当流处理引擎宣称支持它时，它真正意味着什么。关于 Extractly-Once 的处理语义描述也是非常容易让人误导
Flink系列：检查点如何保证exactly-once
NIO4444
06-27 527
检查点 检查点的作用是有Flink自动生产的，当出现故障时，将系统重置为正确状态。 Flink系列：有状态、无状态区别
大数据框架exactly-once底层实现原理，看这篇文章就够了
xuye0606的博客
04-09 233
一、大数据框架三种语义‍‍‍‍ 在分布式系统中，如kafka、spark、flink等构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka 中，broker 可能会 crash，在 producer 推送数据至 topic 的过程中也可能会遇到网络问题。根据 producer 处理此类故障所采取的提交策略类型，有如下三种(以kafka为例)： at-least-once：如果 producer 收到来自 Kafka broker 的确认（ack）或者 acks = all，则表示该消息已
Flink exact-once和容错机制
naturaltao的博客
09-17 567
对于一个分布式系统来说，单个进程或是节点崩溃导致整个Job失败是经常发生的事情，在异常发生时不会丢失用户数据并能自动恢复才是分布式系统必须支持的特性之一。 Flink checkpoint
trident-java怎么实现trc20转账
05-20
要使用trident-java实现TRC20转账，您需要首先连接到Tron网络并获取一个账户。然后，您需要使用Tron的Java API调用transfer方法，该方法将转账信息发送到Tron网络。下面是一个简单的示例： ```java // 连接到Tron网络 Tron tron = new Tron("https://api.trongrid.io"); // 获取账户 Account account = Account.createFromPrivateKey("私钥"); // 创建Transfer对象 Transfer transfer = new Transfer(); // 设置转账信息：收款人地址、转账数量、资产名称 transfer.setToAddress("收款人地址"); transfer.setAmount(1000000); transfer.setAssetName("TRX"); // 调用transfer方法进行转账 tron.broadcast(transfer.send(account)); ``` 在上面的示例中，我们使用Tron的Java API连接到Tron网络，并使用私钥创建账户。然后，我们创建一个Transfer对象，并设置转账信息。最后，我们调用transfer的send方法将转账信息发送到Tron网络。 请注意，如果您要转账的资产不是TRX，则需要指定正确的资产名称，并使用相应的合约地址调用transfer方法。此外，您还需要确保您的账户中有足够的资产来完成转账操作。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值