【SDC】StreamSets实战之路-21-实战篇- 如何使用StreamSets从MySQL增量更新数据到Hive

已于 2022-06-10 18:30:56 修改
阅读量657 收藏 1
点赞数
分类专栏： StreamSets 文章标签： hive mysql hadoop etl
于 2022-02-21 11:51:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013522009/article/details/123044037
版权
本文档介绍了如何使用StreamSets从MySQL进行增量数据捕获（CDC），并将这些变化实时同步到Hive。通过创建Pipeline流程，设置JDBC连接，预览数据，配置Hive Metadata，输出到HDFS，并进行测试验证，确保数据准确无误地从MySQL更新到Hive。
摘要由CSDN通过智能技术生成

1.文档编写目的

通过StreamSets实现数据采集，在实际生产中需要实时捕获MySQL、Oracle等其他数据源的变化数据（简称CDC）将变化数据实时的写入大数据平台的Hive、HDFS、HBase、Solr、Elasticserach等。本篇文章主要介绍如何使用使用StreamSets通过JDBC的方式实时抽取增量数据到Hive。

StreamSets实现的流程如下：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9pXIadS6-1645414916307)(https://ask.qcloudimg.com/http-save/yehe-1522219/btbrygr7jj.jpeg?imageView2/2/w/1620)]

  • 内容概述

1.环境准备

2.创建StreamSets的Pipeline流程

3.Pipeline流程测试

  • 测试环境

1.StreamSets版本为3.1.2.0

2.CM和CDH版本为5.13.1

3.MariaDB版本为5.5.44

2.环境准备

1.准备测试表和数据

[root@cdh4
了解本专栏 订阅专栏 解锁全文 超级会员免费看
菜鸟蜀黍
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【StreamSets】StreamSets的应用——SqlServer CDC的使用
m0_54252387的博客
08-06 660
毕竟有那么多的字段，根本说不清用或是不用，但数据只要一同步过去，总是能很快发现有问题，需要修正~~~，当然时间允许的话，还是写程序吧，毕竟谁让你是程序员了！StreamSets提供了CDC和Change Tracking两种凡是捕获SqlServer的数据更改，其中CDC侧重于副本复制，Change Tracking（CT） 应该是精简版，仅支持数字主键的表监控，并且不支持复合主键。而在实际演练中，发现主子表的执行在源上是有顺序的，单在StreamSets上丢失了次序，导致子表插入失败。...
StreamSets: 数据采集工具详解
最新发布
在路上的专栏
07-05 1521
StreamSets是一款开源的数据管道构建和管理平台，专为应对现代数据架构中的数据流挑战而设计。其核心组件StreamSets Data Collector（SDC）支持从多种数据源采集数据，并通过直观的图形化界面进行数据流的处理和监控。StreamSets广泛应用于实时数据集成、ETL流程、数据流监控和IoT数据处理等场景，具备图形化界面、多源支持和实时监控等优点。通过合理的配置和优化，StreamSets可以显著提升数据处理的效率和可靠性。
StreamSets从MySQL增量更新到Hive
hwf的博客
10-10 4801
所有的配置都采用图文的形式，希望小伙伴会喜欢^_^ 环境准备： 5.5.56-MariaDB HDP-2.6.3.0-Hive-1.2.1000 HDP-2.6.3.0-HDFS- 2.7.3 1.第一步，点击创建新的管道流create new pipeline： 2.第二步，随便写一个标题和描述 3.配置错误日志输入路径，这里配置到本地的/usr/local/data/st......
通过StreamSets实现Oracle实时更新数据至ElasticSearch
zmm0420的专栏
12-04 784
源数据库配置（略） 目标ES配置 注意Default Operation需要选择UPDATE with doc_as_upsert。 还有个关键点：Document ID 的配置：${record:value('/ID')} 说明：ID是你的表的主键字段 参考：https://www.sanshuifeibing.com/posts/ebf7c141.html ...
使用StreamSets将MySQL中变化的数据实时的导入到HBase中
象在舞的技术专栏
06-14 1476
在之前的博客中，小编介绍了如何在CDH中安装StreamSets，文章链接为：《CDH6.3.1中安装StreamSets3.16.0》。透过这个文章名称也能够看出来小编使用的CDH版本以及安装的StreamSets的版本了，这里就不多说了，本文主要介绍如何使用StreamSets实时的将MySQL中的数据导入到HBase中，主要从以下三个方面进行讲解：一、直接将数据实时的导入到HBase；二、选取部分字段进行实时导入；三、使用SQL查询的方式将MySQL中的数据实时的导入到HBase中。 ...
Streamsets3.21 mysql同步到kudu
kkHMou的博客
04-13 538
部分用法的官方链接： https://streamsets.com/documentation/datacollector/3.21.x/help/index.html streamsets没有内置的mysql驱动包，CDH版本则需要添加外部库，详见： https://blog.csdn.net/kkHMou/article/details/115319697 1. 单表同步 2. 实时同步 ...
【SDC】StreamSets实战之路-22-实战篇- 如何使用StreamSets实时采集Kafka数据并写入Hive表
菜鸟叔叔的博客
02-21 638
本篇文章主要介绍如何使用StreamSets实时采集Kafka的数据并将采集的数据写入Hive，StreamSets的流程处理如下：
【SDC】StreamSets实战之路-25-实战篇- 如何使用StreamSets实现MySQL中变化数据实时写入Kudu
菜鸟叔叔的博客
02-21 840
我们在本篇文章主要介绍如何将MySQL Binary Log作为StreamSets的源，来实时捕获MySQL变化数据并将变化数据存入Kudu。
【SDC】StreamSets实战之路-17-实战篇-数据服务快速微服务化
m0_54252387的博客
06-29 379
主要通过一个数据服务快速微服务化的案例来介绍Streamsets（3.20.0 汉化版）的使用。在当前下，微服务化异常盛行，肯能大家之前都用过spring boot实现微服务应用（当然不知道的可以搜下 RESTful API，这里涉及的比较多不重点讲），很多原来不是微服务的服务就需要快速地改成RESTful 接口对外提供服务，要是要用spring boot改写的话，想必一定要Coding了，哈哈，现在不需要了，本章通过一个案例介绍怎么通过streamsets快速实现服务的微服务化。...
【SDC】StreamSets实战之路-27-实战篇- 使用StreamSets实时采集Kafka中嵌套JSON数据并写入Hive表
菜鸟叔叔的博客
02-21 408
本篇文章主要介绍如何使用StreamSets实时采集Kafka中嵌套的JSON数据并将采集的数据写入Hive，StreamSets的流程处理如下：
streamsets-sqlserver-cdc-offset-helper:CDC清理操作后，用于清理StreamSets SQLServer CDC作业偏移量的帮助程序管道
03-05
StreamSets SQLServer CDC偏移量帮助器 该项目提供了（SDC）管道，该管道可在运行SQLServer CDC 后自动清理作业偏移量的过程。
流批一体Streamsets Data Collector(SDC)管道Oracle CDC实时同步配置文档
03-30
流批一体Streamsets Data Collector(SDC)管道Oracle CDC实时采集配置文档，详细说明各种不同oracle版本的附加日志以及重做日志配置差异点
StreamSets的应用——SqlServer CDC的使用
网尘的技术专栏
12-11 2823
目录SqlServer的CDC和CT区别SqlServer的CDC配置配置同步流程小坑1：主子表外键关联小坑2： 同步主表，自动生成多张子表小结 系统的新旧数据需要同步，但两个系统表结构差异较大，因此决定选用StreamSet完成数据的同步，也即SqlServer和MySql的同步。 SqlServer的CDC和CT区别 StreamSets提供了CDC和Change Tracking两种凡是...
streamsets连接mysql失败
Steven
06-20 525
StreamSets上连接界面报错
oracle cdc双向同步,学习 StreamSets（二）：Oracle CDC Client
weixin_33622128的博客
04-04 408
在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件Redo Log 用于 Oracle 数据库实例失败恢复，记录了 数据库 修改历史。通过执行 SQL 语句:SELECT log_mode FROM v$database;查看是否开启 Redo Log，NOARCHIVELOG 意为未开启，ARCHIVELOG 意为已开启。如果 Redo Log 未开启，使用 S...
StreamSets解析MySQL Binlog写入Kafka
光于前裕于后的博客
08-30 951
前面与写入HBase一样
StreamSets 从传统关系型数据库Mysql到Hbase的实时数据采集（初试）
高矮
11-14 6056
最近在研究StreamSets，因为它官网的标题就是处理复杂数据流，就想试一下，做了几个简单Demo之后，发现从传统关系型数据库到Hbase貌似经过很简单的操作就可以做到实时的数据采集： 1、 首先不管是什么环境，一定要先装好StreamSets,我用的的是CDH，直接在StreamSets的官网下载对应版本的parcel包，在CDH离线安装就可以了 2、 直接进入StreamSets...
《StreamSets3.7.2》安装及Mysql数据同步入门示例
IT- 研究者
03-19 631
一、安装部署 1.1. jar包下载： https://archives.streamsets.com/datacollector/3.7.2/tarball/streamsets-datacollector-core-3.7.2.tgz [maxiu@zhumei00 softwares]$ wget --no-check-certificate https://archives.str...
Streamsets Data Collector配置详解：增量同步与全量抽取
"本文档详细阐述了Streamsets Data Collector (SDC) 管道的配置，涵盖了从源端到目标端的各种组件、事件、函数表达式和记录头属性的使用，以及增量同步和全量同步的方法。" Streamsets Data Collector 是一个强大的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

菜鸟蜀黍

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值