自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(44)
  • 收藏
  • 关注

原创 MySQL如何实现高效upsert?你了解吗?

MySQL如何实现高效upsert?你了解吗?

2024-09-04 18:08:08 65

原创 SQL语句中 in 条件超过 1000 怎么办?

SQL语句中 in 条件超过 1000 怎么办?

2024-08-27 16:13:06 106

原创 Apache Amoro(阿莫罗)是个啥玩意儿?听过没?

Apache Amoro(阿莫罗)是个啥玩意儿?听过没?

2024-08-20 09:57:02 353

原创 FlinkCDC系列-FlinkCDC系列目录

FlinkCDC系列-FlinkCDC系列目录

2024-08-19 15:36:29 266

原创 Apache Amoro(阿莫罗)是个啥玩意儿?听过没?

Apache Amoro(阿莫罗)是个啥玩意儿?听过没?

2024-08-19 15:35:32 237

原创 Kafka(系列)-Kafka入门系列目录

Kafka(系列)-Kafka入门系列目录

2024-08-15 16:37:12 62

原创 FlinkCDC系列-Postgres-超过最大精度DECIMAL(38,18)的类型返回是什么 ?

FlinkCDC系列-Postgres-超过最大精度DECIMAL(38,18)的类型返回是什么 ?

2024-08-15 15:26:08 96

原创 FlinkCDC系列-MySQL-开发依赖问题有哪些?

FlinkCDC系列-MySQL-开发依赖问题有哪些?

2024-08-15 15:25:35 69

原创 FlinkCDC系列-MySQL-开发依赖问题有哪些?

FlinkCDC系列-MySQL-开发依赖问题有哪些?

2024-08-12 15:40:32 255

原创 FlinkCDC系列-MySQL-整库同步怎么做, Flink CDC 支持吗?

FlinkCDC系列-MySQL-整库同步怎么做, Flink CDC 支持吗?

2024-08-09 11:22:35 84

原创 FlinkCDC系列-MySQL-读取全量数据,无法读取增量(binlog) 数据,怎么回事?

FlinkCDC系列-MySQL-读取全量数据,无法读取增量(binlog) 数据,怎么回事?

2024-08-08 10:28:48 270

原创 FlinkCDC系列-MySQL-timestamp 字段时区相差8小时,怎么回事呢?

FlinkCDC系列-MySQL-timestamp 字段时区相差8小时,怎么回事呢?

2024-08-07 09:56:49 83

原创 SQL中替换“不间断空格”(Non-Breaking Space, NBSP)的字符串如何处理?

记得关注公众号哦。

2024-08-06 10:18:34 113

原创 Kafka(系列)-Kafka入门系列目录

Kafka(系列)-Kafka入门系列目录

2024-08-02 09:18:12 401

原创 十三、Kafka(系列)-Kafka入门(重试机制)

十三、Kafka(系列)-Kafka入门(重试机制)

2024-08-01 17:43:00 341

原创 一、Kafka(系列)-Kafka入门(概论)

一、Kafka(系列)-Kafka入门(概论)

2024-07-25 17:43:31 249

原创 二、Kafka(系列)-Kafka入门(基础架构)

二、Kafka(系列)-Kafka入门(基础架构)

2024-07-25 17:43:00 82

原创 三、Kafka(系列)-Kafka入门(生产者与分区)

三、Kafka(系列)-Kafka入门(生产者与分区)

2024-07-25 17:42:26 97

原创 四、Kafka(系列)-Kafka入门(副本)

四、Kafka(系列)-Kafka入门(副本)

2024-07-25 17:41:55 100

原创 五、Kafka(系列)-Kafka入门(ACK)

五、Kafka(系列)-Kafka入门(ACK)

2024-07-25 17:41:20 90

原创 六、Kafka(系列)-Kafka入门(拦截器)

六、Kafka(系列)-Kafka入门(拦截器)

2024-07-25 17:40:50 275

原创 七、Kafka(系列)-Kafka入门(消费者与分区)

七、Kafka(系列)-Kafka入门(消费者与分区)

2024-07-25 17:40:19 95

原创 八、Kafka(系列)-Kafka入门(offset管理)

八、Kafka(系列)-Kafka入门(offset管理)

2024-07-25 17:39:38 72

原创 三、Kafka(系列)-Kafka入门(生产者与分区)

举个例子,有一个信用卡交易处理系统,当交易发生时会发送一条消息到Kafka,另一个服务来读取消息并根据规则引擎来检查交易是否通过,将结果通过Kafka返回,对于这样的业务,,延迟多大都不重要只要不影响用户体验,吞吐则根据实时用户数来决定。不同的业务需要使用不同的写入方式和配置。当我们发送消息之前,先问几个问题:每条消息都是很关键且不能容忍丢失么?再举个例子,假如我们需要收集用户在网页上的点击数据,对于这样的场景,,由于交易量大因此吞吐量需要尽可能大,延迟可以稍微高一点。少量消息丢失或者重复是可以容忍的。

2024-07-22 16:04:29 296

原创 C# enum 和 struct 有啥区别?应用场景是什么?你了解吗?

C# enum 和 struct 有啥区别?应用场景是什么?你了解吗?

2024-07-18 11:07:02 422

原创 面试官:Zookeeper是什么,它有什么特性与使用场景?

完整文章来自公众号:阿龙学堂。

2024-07-16 10:28:30 107

原创 JVM是如何创建对象的?你了解吗?

完整文章来自公众号:阿龙学堂。

2024-07-16 10:27:44 100

原创 Flinkcdc 与Canal对比?Flinkcdc异常SchemaOutOfSyncException,怎么治?

根据具体的使用场景和需求可以选择适合的工具。FlinkCDC 是基于 Apache Flink 实现的 CDC 解决方案,可以通过 Flink 强大的流处理能力进行数据变更捕获和处理。依赖 MySQL binlog:Canal 只能捕获 MySQL 数据库 binlog 中的变更,对其他数据库的支持要差。FlinkCDC 可以轻松集成到 Flink 应用程序中,与 Flink 生态系统的其他组件进行无缝整合。Canal 可以高效地捕获 MySQL 数据库的变更,支持 MySQL 的 binlog 格式。

2024-07-10 16:27:12 466

原创 Flink知识点总结

Flink知识点总结

2024-07-03 15:58:59 123

原创 schema change task failed after try three times: task type: ALTER, status_code: TIMEOUT, task elapse

这可能是由于任务插入队列后等待时间过长,超过了预设的超时时间,导致任务超时失败。尝试增加模式更改任务的超时时间,可在执行任务前调整超时参数的设置,以确保任务有足够的时间完成,避免超时失败。查看详细的日志信息,了解超时发生时的具体情况和可能的原因,有助于进一步定位问题并采取相应的解决措施。如果是软件版本的问题导致的超时失败,可以考虑升级相关软件版本到最新版本,可能存在修复超时问题的更新。如果任务处理耗时较长,可以尝试优化任务逻辑、减少任务执行时间,提高任务执行效率。

2024-07-03 15:37:24 434 1

原创 HDFS存储数据倾斜-某个节点磁盘打满告警,如何处理?

原文来自微信公众号:阿龙学堂;

2024-06-24 17:38:47 150

原创 FlinkCDC详解

原文来自微信公众号【阿龙学堂】

2024-06-17 16:48:48 112

原创 Kafka一条消息的完整生命周期

完整文档来源于微信公众号 【阿龙学堂】:Kafka一条消息的完整生命周期

2024-06-14 09:33:02 313

原创 RedisJSON:在Redis中处理JSON数据效率高?你用过这个吗?

Flink进行实时风控时,将规则放在redis中,如果规则复杂并实时要求高,可以存储为json对象,放redis进行 管理即可。RedisJSON为Redis提供了处理JSON数据的能力,使得Redis可以更好地应对复杂数据结构的存储和查询需求。因此还有其他场景 :具有层次结构得数据类型,快存快取。原文来自微信公众号 :阿龙学堂。

2024-05-30 16:44:50 145

原创 Kafka 为什么要抛弃 ZooKeeper?

来自公众号:阿龙学堂。

2024-05-28 16:42:18 217

原创 kudu注意事项

、LIKE或Impala支持的任何其他谓词类型,Kudu不直接评估谓词,而是将所有结果返回给Impala,并依赖Impala来评估剩余的谓词并相应地过滤结果。Scale :This value must be between 0 and the precision,The precision and scale of decimal columns cannot be changed by altering the table.( decimal(18,20) 类型中,后面的值必须小于等于 前面的值)

2024-05-11 15:00:34 328

原创 数据治理-表模型使用频率如何统计?来实现末尾淘汰?

数据治理-表模型使用频率如何统计?来实现末尾淘汰?

2024-04-29 15:33:36 271

原创 MySQL实现upsert的三种方式?

MySQL如何实现upsert的三种方式?

2024-04-22 17:03:57 785

原创 MySQL如何实现upsert?

在大数据的很多组件中,都可以支持upsert语句,当数据在表中没有的时候,数据就insert,数据在表中有的话,就update更新数据即可。那么我们经常常用的MySQL数据库,如何实现该upsert方式了?在面试的时候,如果被问到MySQL数据库如何upsert,就用该方式即可。欢迎关注 微信公众号 :阿龙学堂。

2024-04-22 17:01:00 239 1

原创 StarRocks中Json格式字段读取异常?

类:StarRocksSchema.genSchema方法空指针异常?即可获取json字段为字符串类型,然后映射为具体的bean处理即可。

2023-11-01 15:54:50 488

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除