- 博客(107)
- 收藏
- 关注
原创 浅识:GaussDB的WAL日志
GaussDB的WAL预写入日志实现事务持久性(Durability) 和 崩溃恢复(Crash Recovery) 的核心机制
2025-12-16 19:50:44
331
原创 小识hive的排序四兄弟ORDER BY、SORT BY、DISTRIBUTE BY、CLUSTER BY
Hive排序语法面试要点: 核心区别: ORDERBY:全局排序(单Reducer,性能差) SORTBY:分区内排序(多Reducer并行) DISTRIBUTEBY:控制数据分发(不排序) CLUSTERBY:分区+排序(DISTRIBUTEBY+SORTBY) 银行场景建议: 禁用ORDERBY(易OOM) 推荐DISTRIBUTEBY+SORTBY组合 桶表使用CLUSTERBY优化JOIN 执行阶段: ORDERBY/SORTBY在Reduce阶段 DISTRIBUTEBY在Map-Reduce分
2025-12-14 23:00:30
360
原创 小聊:银行数据仓库项目中 DEV → SIT → UAT → PRE-PROD → PROD
银行数据仓库项目通常包含DEV→SIT→UAT→PRE-PROD→PROD五级环境。其中PRE-PROD环境作为上线前的最后防线,必须与生产环境(PROD)保持完全一致,包括硬件配置、软件版本、网络策略、数据量级等。若两者存在差异,可能导致"测试通过但上线失败"的问题,如性能不足、权限错误或作业超时等。银行通常通过基础设施即代码、配置管理、数据同步等方法来确保环境一致性。PRE-PROD环境的严格验证是避免上线风险的关键环节,需进行全流程测试、性能压测和安全验证,确保测试结果真实反映生产
2025-12-12 18:09:57
527
原创 小结:维度建模方法论与实践指南
本文系统介绍了维度建模的方法论与实践指南,涵盖核心原理、建模流程和行业案例。重点解析星型模型与雪花模型的选择策略,提出业务驱动的四步建模法,并通过电商、金融、物流等真实案例展示事实表与维度表的设计技巧。文章还总结了SCD处理、代理键设计等进阶方法,推荐了常用建模工具,强调从简单到复杂、保持一致性等实施原则。实践表明,该方法能显著提升查询性能、降低开发成本,有效支撑实时风控、精准营销等高价值场景。
2025-12-10 23:50:50
562
原创 小识:从理财数仓角度看GaussDB、PostgreSQL、Hive 三区别
本文对比分析PostgreSQL、GaussDB和Hive在理财数仓项目中的应用特点。PostgreSQL作为开源关系型数据库,适合存储小体量、高实时性的交易数据;GaussDB是华为基于PostgreSQL开发的分布式数据库,兼具交易和分析能力,是理财数仓的核心存储引擎;Hive则专注于海量数据的离线分析处理。三者各司其职,共同构建完整的理财数仓解决方案,满足金融行业对数据存储、处理和分析的多样化需求。
2025-12-10 23:28:46
521
原创 spark、mapreduce、flink核心区别及浅意理解
主流分布式数据处理框架对比:MapReduce、Spark和Flink分别代表批处理、内存计算和流批一体三个技术时代。MapReduce适合超大规模离线处理但延迟高;Spark在批处理和准实时场景表现优异,支持丰富生态;Flink则在毫秒级实时处理、状态管理和精确一次语义方面优势突出。金融场景中,Flink最适合实时风控等低延迟需求,Spark适用于准实时分析,MapReduce仍用于大规模离线作业。行业趋势显示Flink正成为实时数仓建设的主流选择,而传统系统正逐步向Spark+Flink混合架构演进。
2025-12-08 22:51:06
731
原创 地基浅显易懂ConcurrentHashMap的线程安全机制(CAS+细颗粒度synchronized)
ConcurrentHashMap 用 CAS + 细颗粒度synchronized 保证线程安全;
2025-04-03 08:48:52
1262
原创 面基JavaEE银行金融业务逻辑层处理金融数据类型BigDecimal
在业务逻辑层处理银行金融数据使用BigDecimal,对应的MySQL、Oracle、Redis存储。
2025-04-02 22:01:17
1242
原创 面基线程池、CountDownLatch和Completablefuture组合使用
线程池、CountDownLatch组合使用以及CompletableFuture的应用,代码示例
2025-04-02 20:19:32
1132
原创 地基MySQL字符集utf8mb4和utf8的区别,utf8mb4_general_ci、utf8mb4_unicode_ci 、utf8_general_ci 区别
字符集utf8mb4和utf8;区分:utf8mb4_general_ci、utf8mb4_unicode_ci 和 utf8_general_ci
2025-04-01 11:19:00
1567
原创 简聊雪花算法Snowflake快乐认知
雪花算法Snowflake快乐认知:组合时间戳、机器标识和序列号确保唯一性与有序性,如快递单号:时间+分店+序号 ;
2025-03-31 16:49:25
899
原创 地基Prompt提示常用方式
Prompt提示常用方式 : 思维链(Chain of Thought, CoT) 、LTM 提示方法(Long-Term Memory)、思维树(Tree of Thoughts, ToT)。
2025-03-14 19:05:47
3070
原创 地基Python中列表(List) 和 数组(Array) 区别
Python 中,列表(List) 和 数组(Array) 是两种不同的数据结构,主要区别简易介绍
2025-03-14 17:33:21
1262
原创 简辨hashmap当put放k和v时,如果k冲突,链表大于8, 数组长度小于64, 这里怎么扩容的?扩容后的K的hash值跟 原先的不冲突了吗?
在中,当插入键值对时,若发生哈希冲突导致链表长度超过阈值(默认为8),且当前数组(桶数组)长度小于64,会触发而非链表转红黑树。
2025-03-03 17:23:39
479
原创 简识ConcurrentHashMap 高并发下线程安全原理
ConcurrentHashMap 通过 CAS + synchronized + volatile 的组合策略,保证线程安全的同时,最大化并发性能。
2025-02-27 11:01:19
1076
原创 浅聊RocketMQ 分布式事务解决方案原理
RocketMQ 分布式事务解决方案原理与关键技术点;2PC + 回查机制 + 消费最大次数 + 失败补偿机制(死信队列)
2025-02-24 18:20:47
1138
原创 简识Kafka集群与RocketMQ集群的核心区别
1、Kafka集群与RocketMQ集群的核心区别及架构图例说明;2、集群同步复制和异步复制的区别;
2025-02-23 18:08:42
1326
原创 简聊RocketMQ如何确保顺序性
RocketMQ 通过多种机制确保消息的顺序性,其核心原理基于分片(Sharding)和队列(Queue)的单调消费
2025-02-22 18:18:58
3111
原创 简识MQ之Kafka、ActiveMQ、RabbitMQ、RocketMQ传递机制
四种主流消息队列(Kafka、ActiveMQ、RabbitMQ、RocketMQ)的生产者与消费者传递信息的机制说明,以及实际使用中的注意事项和示例
2025-02-20 19:34:44
1275
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅