![](https://img-blog.csdnimg.cn/20200617105523715.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
streamsets
文章平均质量分 51
ETL工具
XuTengRui
这个作者很懒,什么都没留下…
展开
-
【Bug记录】:利用StreamSets的Kafka组件写入HBase后,读取HBase数据时Decimal类型数据异常
今天在实时读取HBase维度数据时发现取数据时有问题,Deicmal类型的数据异常,经过排查推理发现最后是Kafka数据通过StreamSets写入时存在问题:问题原因:Kafka里存的是Json数据,StreamSets通过解析JSON数据后把每个字段值写入HBase,因为JSON里字段是没有具体数据类型的,StreamSets可能会把字段转成字符串后解析成二进制写入HBase,这里就造成存储HBase的Decimal类型数据精度存在问题。解决办法:新增一个Field Type Conve原创 2021-08-17 15:58:25 · 346 阅读 · 1 评论 -
StreamSets操作教学: 数据库同步HBase,支持rowkey反转
系列文章目录StreamSet操作教学: JVM性能优化,让你秒支持上百个Job StreamSet操作教学: SqlServer同步到Hive目录系列文章目录前言1. 配置Kafka Consumer2. 配置JavaScript Evaluator3. 配置HBase总结前言业务数据库实时ETL到HBase时,主要分为两种一个是增量同步二是全量同步在实时增量同步方案时 博主是通过Mysql -> Kafka -> .原创 2021-06-30 21:56:03 · 598 阅读 · 3 评论 -
StreamSet操作教学: JVM性能优化,让你秒支持上百个Job
1原创 2021-06-17 14:45:43 · 1085 阅读 · 1 评论 -
StreamSet操作教学-SqlServer同步到Hive
业务背景公司上大数据,要把sqlserver里的业务数据实时同步到大数据平台上。几天调研后选择StreamSet作为ETL工具。技术选型的理由主要有几点:sqlserver的坑太深,网上找了很多工具对sqlserver的支持力度都不是很大(微软全家桶的要哭了~)自己开发ETL程序耗时太长,同时配套的ETL metrics工具也需要配备,劳民伤财。感觉有时间开发不如把精力放在业务数据研究和指标计算上。sqlserver支持两种实时同步机制:CDC和Change Tracking,CDC使用起来比较重原创 2020-05-28 16:25:13 · 1909 阅读 · 0 评论