- 博客(44)
- 收藏
- 关注
原创 FlinkCDC系列-Postgres-超过最大精度DECIMAL(38,18)的类型返回是什么 ?
FlinkCDC系列-Postgres-超过最大精度DECIMAL(38,18)的类型返回是什么 ?
2024-08-15 15:26:08 96
原创 FlinkCDC系列-MySQL-整库同步怎么做, Flink CDC 支持吗?
FlinkCDC系列-MySQL-整库同步怎么做, Flink CDC 支持吗?
2024-08-09 11:22:35 84
原创 FlinkCDC系列-MySQL-读取全量数据,无法读取增量(binlog) 数据,怎么回事?
FlinkCDC系列-MySQL-读取全量数据,无法读取增量(binlog) 数据,怎么回事?
2024-08-08 10:28:48 270
原创 FlinkCDC系列-MySQL-timestamp 字段时区相差8小时,怎么回事呢?
FlinkCDC系列-MySQL-timestamp 字段时区相差8小时,怎么回事呢?
2024-08-07 09:56:49 83
原创 三、Kafka(系列)-Kafka入门(生产者与分区)
举个例子,有一个信用卡交易处理系统,当交易发生时会发送一条消息到Kafka,另一个服务来读取消息并根据规则引擎来检查交易是否通过,将结果通过Kafka返回,对于这样的业务,,延迟多大都不重要只要不影响用户体验,吞吐则根据实时用户数来决定。不同的业务需要使用不同的写入方式和配置。当我们发送消息之前,先问几个问题:每条消息都是很关键且不能容忍丢失么?再举个例子,假如我们需要收集用户在网页上的点击数据,对于这样的场景,,由于交易量大因此吞吐量需要尽可能大,延迟可以稍微高一点。少量消息丢失或者重复是可以容忍的。
2024-07-22 16:04:29 296
原创 Flinkcdc 与Canal对比?Flinkcdc异常SchemaOutOfSyncException,怎么治?
根据具体的使用场景和需求可以选择适合的工具。FlinkCDC 是基于 Apache Flink 实现的 CDC 解决方案,可以通过 Flink 强大的流处理能力进行数据变更捕获和处理。依赖 MySQL binlog:Canal 只能捕获 MySQL 数据库 binlog 中的变更,对其他数据库的支持要差。FlinkCDC 可以轻松集成到 Flink 应用程序中,与 Flink 生态系统的其他组件进行无缝整合。Canal 可以高效地捕获 MySQL 数据库的变更,支持 MySQL 的 binlog 格式。
2024-07-10 16:27:12 466
原创 schema change task failed after try three times: task type: ALTER, status_code: TIMEOUT, task elapse
这可能是由于任务插入队列后等待时间过长,超过了预设的超时时间,导致任务超时失败。尝试增加模式更改任务的超时时间,可在执行任务前调整超时参数的设置,以确保任务有足够的时间完成,避免超时失败。查看详细的日志信息,了解超时发生时的具体情况和可能的原因,有助于进一步定位问题并采取相应的解决措施。如果是软件版本的问题导致的超时失败,可以考虑升级相关软件版本到最新版本,可能存在修复超时问题的更新。如果任务处理耗时较长,可以尝试优化任务逻辑、减少任务执行时间,提高任务执行效率。
2024-07-03 15:37:24 434 1
原创 RedisJSON:在Redis中处理JSON数据效率高?你用过这个吗?
Flink进行实时风控时,将规则放在redis中,如果规则复杂并实时要求高,可以存储为json对象,放redis进行 管理即可。RedisJSON为Redis提供了处理JSON数据的能力,使得Redis可以更好地应对复杂数据结构的存储和查询需求。因此还有其他场景 :具有层次结构得数据类型,快存快取。原文来自微信公众号 :阿龙学堂。
2024-05-30 16:44:50 145
原创 kudu注意事项
、LIKE或Impala支持的任何其他谓词类型,Kudu不直接评估谓词,而是将所有结果返回给Impala,并依赖Impala来评估剩余的谓词并相应地过滤结果。Scale :This value must be between 0 and the precision,The precision and scale of decimal columns cannot be changed by altering the table.( decimal(18,20) 类型中,后面的值必须小于等于 前面的值)
2024-05-11 15:00:34 328
原创 MySQL如何实现upsert?
在大数据的很多组件中,都可以支持upsert语句,当数据在表中没有的时候,数据就insert,数据在表中有的话,就update更新数据即可。那么我们经常常用的MySQL数据库,如何实现该upsert方式了?在面试的时候,如果被问到MySQL数据库如何upsert,就用该方式即可。欢迎关注 微信公众号 :阿龙学堂。
2024-04-22 17:01:00 239 1
原创 StarRocks中Json格式字段读取异常?
类:StarRocksSchema.genSchema方法空指针异常?即可获取json字段为字符串类型,然后映射为具体的bean处理即可。
2023-11-01 15:54:50 488
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人