【StreamSets 】重置管道状态——管道的数据记忆

最新推荐文章于 2023-08-19 19:59:52 发布
最新推荐文章于 2023-08-19 19:59:52 发布
阅读量327 收藏
点赞数 1
分类专栏： 【Streamsets】 文章标签： etl 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54252387/article/details/126190531
版权
StreamSets的管道在运行时会记录组件状态，包括数据持久化。重置源组件可确保从头开始处理数据，如Kinesis Consumer需要特殊处理，涉及DynamoDB权限。在测试和数据采集问题时，重置管道状态至关重要。
摘要由CSDN通过智能技术生成

StreamSets 的管道 在运行过程中，会记录某些组件的状态，那这会影响啥呢？

1、数据持久化

当你停止管道时， StreamSets会记录它停止位置时的处理组件的位置。当你重新启动管道时，它会从中断的地方继续。

有哪些组件会被保留状态呢？

以下是这些组件的列表：

  • Amazon S3
  • Azure Data Lake Storage Gen1
  • Azure Data Lake Storage Gen2
  • Directory
  • Elasticsearch
  • File Tail
  • Google Cloud Storage
  • Groovy Scripting
  • Hadoop FS Standalone
  • HTTP Client
  • JavaScript Scripting
  • JDBC Multitable Consumer
  • JDBC Query Consumer
  • Jython Scripting
  • Kinesis Consumer
  • MapR DB JSON
  • MapR FS Standalone
  • MongoDB
  • MongoDB Oplog
  • MySQL Binary Log
  • Salesforce
    • <
了解本专栏 订阅专栏 解锁全文 超级会员免费看
StreamSets 重置管道状态——管道的数据记忆
网尘的技术专栏
04-07 1215
StreamSets 的管道 在运行过程中，会记录某些组件的状态，那这会影响啥呢？ 1、数据持久化 当你停止管道时， StreamSets会记录它停止位置时的处理组件的位置。当你重新启动管道时，它会从中断的地方继续。 有哪些组件会被保留状态呢？ 以下是这些组件的列表： Amazon S3 Azure Data Lake Storage Gen1 Azure Data Lake Storage Gen2 Directory Elasticsearch File Tail Google Cloud Sto.
【SDC】StreamSets - Hive漂移同步解决方案
m0_54252387的博客
07-07 402
在解释漂移同步之前，首先简单说明以下数据漂移的概念。数据漂移，简单来说，就是数据存放时间分区错误。在数据仓库的源数据表分区中，同一业务日期数据下包含了不属于该天的数据或者丢失了该天的变更数据。这个一般是时间戳不准确导致的，而时间戳不准确的原因有很多，这里不做过多说明，可以自行查询资料了解。漂移同步，就是解决数据漂移这个问题的，根据构建的策略，将数据同步到正确的表中。Hive漂移同步解决方案，是StreamSets提供的一整套解决方案，可以将输入数据实时同步到相应的Hive表中。这个方案除了解决数据漂移的问题
流批一体Streamsets Data Collector(SDC)管道Oracle CDC实时同步配置文档
03-30
流批一体Streamsets Data Collector(SDC)管道Oracle CDC实时采集配置文档，详细说明各种不同oracle版本的附加日志以及重做日志配置差异点
使用StreamSets Data Collector实时同步oracle数据到kafka
mayp1122的博客
05-18 6784
使用StreamSets Data Collector实时同步oracle数据到kafka一、前言二、StreamSets Data Collector简介安装1. 下载安装包2. 解压3. 在安装目录外新建文件夹放置configuration, data, log, and resource文件夹（官方推荐）4. 修改配置文件5. 将安装目录下etc中的所有文件拷贝到我们新建的conf目录下6. 启动三、StreamSets Data Collector实战：实时同步oracle数据到kafka知识准备O
streamsets2.6.0导数据常见问题总结
知识的力量
02-28 3697
文档下载:Streamsets2.6.0导数据常见问题总结.docxstreamsets2.6.0.1版本使用需要的环境保证此版本能够正常运行每个问题都有描述使用场景与解决方法streamsets2.6.0.1版本常见问题汇总一、执行任务时有表空间的问题使用场景 以下场景适用于从Oracle或PostgreSQL或其他支持JDBC的数据库，以下错误主要在Oracle数据库中发现，原因在与Oracl...
Apache Flink®极简教程: 架构及原理 Stateful Computations over Data Streams
AI天才研究院
12-28 9369
Flink 极简教程: 架构及原理 Apache Flink® — Stateful Computations over Data Streams关键词分布式流处理分布式计算引擎All s...
Flink 极简教程: 架构及原理 Apache Flink® — Stateful Computations over Data Streams
AI天才研究院
12-27 9351
Flink 极简教程: 架构及原理 Apache Flink® — Stateful Computations over Data Streams 关键词 分布式流处理 分布式计算引擎 All streaming use cases Event-driven Applications Stream & Batch Analytics Data Pipelines &a...
2021 Java面试真题集锦
热门推荐
GL1765852966的博客
12-26 8万+
目录 … 1 大厂面试的基本流程 17 字节跳动 17 阿里 17 腾讯 18 网易游戏 18 面试前需要准备： 18 面试中可以借鉴的套路 19 用简历争取到更多的面试机会 19 自我介绍时，立即全面抛出技术栈和亮点 20 先介绍项目背景，打消面试官疑问 21 通过说项目管理工具，说明你不仅会写代码 22 用 SPRING BOOT 项目举例，说明你的技术基本面 23 用实例说明你在内存调优方面的经验 24 展示你在数据库调优方面的经验 25 总结前文说辞 26 准备项目说辞时，更可以准备后继面试官的问
StreamSets Quick Start Guide: Getting Started with Real
AI天才研究院
08-19 992
作者：禅与计算机程序设计艺术 1.简介 StreamSets是一个用于构建实时数据流水线的开源平台。它允许用户通过简单、直观的界面创建复杂的数据管道，包括数据源、过滤器、处理器、分拣器等。在创建数据流之前，StreamSets会自动检测各种错误，并提供清晰的错误提示。此外，它还集成了许多可用的预处理组件
mysql binlog配置,StreamSets MySQL Binlog解析配置
weixin_34365489的博客
03-23 551
MySQLbinlog日志作为用于MySQL主从复制的途径。 MySQL复制允许通过binlog维护多个将数据从主服务器复制到从属服务器的副本。 StreamSets可以从MySQL主数据库捕获更改，然后将更改的数据传递到Data Collector管道。GTID是MySQL数据库事务的全局唯一ID，在MySQL中无论GTID是否打开都可以通过StreamSets处理MySQL binglog。M...
streamsets-帮助手册
10-12
《streamsets-帮助手册》英文带目录版，这个工具估计用的人估计不多，但是做大数据平台的etl工具用还是很强大的，想学的话慢慢看很有用。 平台竟然把分调到这个高，分#不$^够的可以私*信wo解决，看到会回复，希望不被和#谐
StreamSets数据操作平台（数据移动及数据清洗强大工具）-第二篇
CD
01-19 1万+
什么是StreamSets数据收集器？StreamSets 数据收集器是一个轻量级，强大的引擎，实时流数据。使用Data Collector在数据流中路由和处理数据。要为Data Collector定义数据流，请配置管道。一个流水线由代表流水线起点和终点的阶段以及您想要执行的任何附加处理组成。配置管道后，单击“开始”，“ 数据收集器”开始工作。Data Collector在数据到达原点时处理数据，
streamsets问题总结
chaojizhunmengzhe90的博客
01-10 1101
streamsets问题总结 streamsets是一种纯开源的ETL工具，适用场景是不断递增的流式数据，基于原理识别业务逻辑上的增加来识别，实际上有个timer一直在循坏，但它并不是真正的主键，streamsets只是隐式地，不是真正地，最后还是要对于源表这种主键，删除与update不太行，通过另一个逻辑去处理，处理起来比较复杂，它里面配置有一个offset,记录了你最后一次抽取id的值。 streamsets 连接sqlserver2008R2 老版本上面遇到的问题 sqlserver2008版本上支持
oracle cdc 12c,StreamSets：Oracle CDC Client
weixin_29417071的博客
04-08 368
Oracle CDC Client(为方便处理，下文中用OCC代替)处理由Oracle LogMiner redo logs提供的CDC信息(可用版本：Oracle 11g或12c)。可以使用这个origin执行数据库复制。可以使用一个单独的pipeline，与JDBC Query Consumer或JDBC Multitable Consumer分离。然后，使用Oracle CDC Client...
CDH中安装StreamSets 以及遇到的坑与解决
JJBOOM425的博客
08-03 2137
今天总结一下安装的StreamSets的全过程，并且中间遇到的问题与解决办法。 一、下载StreamSets相关文件 首先看Cloudera Manager server是否可以访问Internet获取这个Parcel，如果不行则需要手动安装文件。可以看到我本地这里就不能通过远程提供自己下载： 手动安装StreamSets Parcel和校验文件，如果使用多个集群时，就需要对每个集群执行以下步骤。 1、从下面这个链接下载适用于Cloudera Manager Server操作系统的相关文件 h
Cloudera Manager部署StreamSets
邢为栋
07-14 479
通过Cloudera Manager部署StreamSets。 环境： 服务 版本 操作系统 CentOS7.8 Cloudera Manager 6.3.1 CDH 6.3.2 StreamSets 3.16.1 部署步骤： 1、安装StreamSets Custom Service Descriptor(CSD)。 2、手动安装parcel和校验文件。 3、分发和激活StreamSets Parcel。 4、配置StreamSets服务。 下面将安装步骤进行详细说明。 安
STREAMSETS自学——JDBC Query Consumer简述
jinxlzc的博客
05-06 3109
本文结合我自己的使用经验和官方文档的理解所作，若有理解不足与功能解释不完整请谅解 JDBC Query Consumer(stages: origin) 官方文档： https://streamsets.com/documentation/datacollector/3.7.2/help/datacollector/UserGuide/Origins/JDBCConsumer.html 组...
streamsets2.6.0.1--使用案例详细文档
知识的力量
02-28 1万+
实例百度网盘下载（永久有效）: 链接: https://pan.baidu.com/s/1ltXeOlMEMYyfJD6eplUg1A 密码: 3ii5   实例下载： streamsets使用案例.zip streamsets2.6.0.1版本使用需要的环境 确保streamsets2.6.0.1平台能够正常运行，无报错 streamsets使用案例.zip所有的实例都是strea...
STREAMSETS自学——JDBC Producer简述
jinxlzc的博客
05-06 3813
本文结合我自己的使用经验和官方文档的理解所作，若有理解不足与功能解释不完整请谅解 JDBC Producer (stages: destination) 官方文档：https://streamsets.com/documentation/datacollector/3.7.2/help/datacollector/UserGuide/Destinations/JDBCProducer.html...
streamsets常见命令
最新发布
09-17
StreamSets是一个开源的数据流管道工具，用于实时数据集成、数据传输和数据转换。在StreamSets中，可以使用不同的命令来管理和控制数据流管道的运行。以下是一些常见的StreamSets命令： 1. start：启动一个数据流...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九层之台起于累土

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值