- 博客(925)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Spark在银行系统ETL中的实战应用：TXT文件到PostgreSQL的余额处理全流程
本文介绍了一个基于Spark的银行ETL系统设计方案，用于处理每日海量账户余额数据。系统从TXT文件中提取数据，经过多级处理（包括数据清洗、缺失值补充、重复数据处理等业务逻辑）后，将结果存储到PostgreSQL数据库。方案采用双表存储策略（历史表和最新余额表），并详细说明了Spark在分布式计算、业务规则实现和数据质量保障方面的优势。文章还提供了性能优化策略、异常处理机制和监控方案，强调在金融系统中数据准确性优先于处理速度的原则。该方案已成功应用于多个银行系统，能高效处理千万级账户数据。
2026-02-01 23:43:38
1096
原创 Spring Boot Data API 与 Redis 集成：KPI/图表/表格查询的缓存优化方案
本文介绍了基于SpringBoot和Redis的缓存优化策略。针对KPI指标、图表数据和表格查询三种典型场景，分别设计了30秒-5分钟、1-24小时和5-30分钟的不同缓存时效策略。详细说明了SpringBoot集成Redis的配置方法，包括依赖配置、RedisTemplate设置和缓存管理器实现。重点阐述了三种数据查询场景的缓存实现：KPI采用主动更新+失效策略，图表数据使用多级缓存，表格数据实现智能分页缓存。此外还介绍了缓存预热、分布式锁防击穿等高级模式，以及监控指标配置和性能优化建议。最后总结了按需缓
2026-02-01 22:07:52
443
原创 统一数据访问平台设计方案 - DataHub
本文提出构建DataHub全球数据统一服务平台，通过三层架构实现数据服务的标准化管理：区域数据层（DataHub[Region]API）、联邦网关层（DataHubFederationGateway）和统一服务层（DataHubUnifiedServices）。方案采用工厂+策略模式设计，支持智能路由、统一API接口和多区域数据聚合查询，具有单点接入、标准化输出和即插即用等优势。命名体系以DataHub为核心，区分Global/China/India区域，便于团队协作和运维管理。该架构能降低重复建设成本，提
2026-01-20 22:02:56
628
1
原创 Jenkins Pipeline 中的 NotSerializableException: LazyMap 报错 | 3个实用解决方案
Jenkins Pipeline中处理JSON解析报错NotSerializableException的三种解决方案：1）使用@NonCPS注解封装解析逻辑（推荐）；2）将LazyMap转换为可序列化的HashMap；3）改用脚本式流水线。这些方法可解决Groovy 2.3+版本中JsonSlurper返回的LazyMap不支持序列化的问题，适用于不同场景需求。
2026-01-20 21:15:58
449
原创 什么是Technical Lead和Engineering Lead？有什么区别和联系
技术负责人（TechLead）与工程负责人（EngineeringLead）在职责上存在明显差异：TechLead专注于技术架构、代码质量和技术决策，主要承担技术指导而非管理；EngineeringLead则兼顾技术与团队管理，侧重项目交付、资源协调和人员发展。二者在大型团队中通常分工协作，小型团队可能由一人兼任。职业发展上，TechLead适合技术深耕者，EngineeringLead更适合管理方向，但两者可相互转化，实现技术与管理能力的融合。
2026-01-18 19:30:22
427
原创 LTTD：衡量DevOps效能的“心跳”指标，你了解多少？
LTTD不仅仅是一个冷冰冰的数字，它是团队工程卓越能力的温度计。优化LTTD是一场需要技术、流程和文化协同并进的旅程。记住，目标不是不计代价地追求“一小时部署”，而是通过缩短LTTD，打造一个更快速、更可靠、更能响应业务变化的软件交付引擎。现在，就从测量你的LTTD开始吧！
2026-01-18 19:05:39
790
原创 CSDN博客之星2025年度总评选投票~
欢迎给我投票👏 https://www.csdn.net/blogstar2025/detail/258大家好，我是 Moshow，一名热爱技术与分享的Technical Lead & Engineering Lead & 数据科学探索者 & SpringBoot 专家 。
2026-01-17 09:02:40
353
原创 Sebastian_Linser Sebastian_Linser SupportRelease Notes Qlik Sense PostgreSQL installer version
摘要：Qlik PostgreSQL Installer (QPI) 版本1.2.0至2.1.0的更新说明，涵盖从2023年5月到2025年9月的主要改进。关键更新包括：PostgreSQL升级至14.17版本、支持静默安装/升级、修复特殊字符密码问题、支持自定义安装路径等。已知限制包括不支持回滚、不检查磁盘空间、不支持Windows Server 2012 R2等。2.1.0版本新增默认管理员运行和支持非C盘安装功能。
2026-01-12 13:05:35
1002
原创 Upgrading and unbundling the Qlik Sense Repository Database using the Qlik PostgreSQL Installer
This article explains how to upgrade and unbundle the Qlik Sense Repository Database using the Qlik PostgreSQL Installer (QPI). It covers requirements, supported scenarios (upgrading from February 2022 to November 2024), and step-by-step instructions for b
2026-01-12 13:04:16
750
原创 实战深耕・价值跃迁｜Moshow的年度技术成长总结2025
本文总结了作者本年度技术实践与成长历程。围绕"技术驱动价值落地"理念，提炼出五大实战方法论：AI协作开发、可测试与可遥测体系、价值预判导向、5Why故障分析及成果展示能力。作为技术负责人主导了BI系统迁移项目，并开发多个开源轻量系统解决业务痛点。展望未来，计划深耕Spark和GCP云原生ETL技术，攻克多数据中心数据整合难题，同时强化技术架构师角色，推动团队技术方案高质量落地。文章展现了从执行者到设计者的成长轨迹，强调技术与业务价值的深度结合。
2025-12-30 23:12:50
897
原创 什么是 ACPI Bridge Device
摘要：ACPI Bridge Device是基于ACPI规范的虚拟桥接设备，在操作系统与硬件间搭建管理桥梁。它主要负责硬件资源分配、电源管理协调（如休眠/唤醒控制）以及设备枚举识别。在Windows设备管理器中通常显示为PCIe根桥或电源控制器等系统设备，由系统原生驱动支持。常见问题包括驱动异常（设备无法识别）和电源管理故障（休眠失败等），可通过更新系统补丁、主板驱动或调整BIOS设置解决。该虚拟组件对硬件兼容性、系统稳定性及能效管理至关重要。（149字）
2025-12-23 23:38:48
935
原创 SpringBoot 内置 CollectionUtil：实战用法速览，告别空指针！
SpringBoot自带的CollectionUtil工具类提供了高效处理集合操作的实用方法：1️⃣判空（isEmpty/isNotEmpty）简化集合空值检查；2️⃣转换（arrayToList）快速实现数组转集合；3️⃣合并（mergeArrayIntoCollection）轻松拼接集合和数组；4️⃣匹配（contains）优雅判断元素存在性；5️⃣兜底（emptyIfNull）避免返回null引发空指针。这些方法无需额外依赖，能显著减少冗余代码，提升开发效率，是处理集合操作的利器。
2025-12-23 23:11:53
429
原创 Spring Boot 内置 BeanUtils 实战：优雅控制字段拷贝（排除 / 指定字段）
本文详细讲解了SpringBoot中BeanUtils工具的使用技巧。针对默认拷贝方法会无脑拷贝所有同名属性的痛点，提出两种解决方案：1）通过ignoreFields参数排除敏感字段；2）通过自定义注解实现白名单式字段拷贝。文章还提供了工具类封装建议和实战避坑指南，帮助开发者更安全、灵活地进行对象属性拷贝。掌握这些技巧可以避免敏感字段泄露和多余字段覆盖问题，提升开发效率和代码质量。
2025-12-21 10:56:21
1345
原创 Spring Boot内置Jackson库：优点解析+JSON/CSV/XML序列化反序列化实战
摘要： 本文详解SpringBoot默认JSON库Jackson的核心优势与多格式处理技巧。Jackson凭借零配置集成、高性能、多格式支持（JSON/CSV/XML）等特性成为首选。实战部分涵盖： JSON处理：基础序列化/反序列化，定制化配置（日期格式化、空值过滤）； CSV操作：通过CsvMapper实现POJO与CSV互转，支持表头映射； XML转换：使用XmlMapper处理带根节点的XML数据。 文中提供完整代码示例，并总结常见问题（如日期格式、字段映射），帮助开发者高效应对数据转换场景。适用于
2025-12-21 10:12:34
1150
原创 JAVA线程池ThreadPoolExecutor拒绝策略深度解析与最佳实践
ThreadPoolExecutor拒绝策略解析：文章详细介绍了线程池的四种内置拒绝策略（AbortPolicy、CallerRunsPolicy、DiscardPolicy、DiscardOldestPolicy）及其适用场景，并提供了自定义策略的最佳实践，包括日志记录、重试、降级和监控等方案。针对不同业务场景（电商订单、实时数据流、API网关）给出了具体实现建议，强调拒绝策略需结合业务优先级、系统资源和监控体系进行设计。核心原则是关键业务不能丢、非关键业务合理降级，所有拒绝都应可监控追溯。
2025-12-19 00:02:49
818
原创 ThreadPoolExecutor 使用最佳实践
摘要：CompletableFuture使用默认线程池ForkJoinPool.commonPool()存在资源竞争、无法定制等问题。建议创建专用线程池，并通过supplyAsync/thenApplyAsync等方法指定执行线程池。最佳实践包括：线程池隔离（不同业务使用独立线程池）、异常处理、超时控制、资源清理和线程池监控。同时应注意在应用关闭时正确关闭线程池，并通过监控指标进行调优。这些措施能有效提升异步任务执行的可靠性和性能。
2025-12-18 23:54:52
183
原创 深入浅出 Java 线程池：ThreadPoolExecutor 参数调优与 CompletableFuture 联动实战 [特殊字符]
在 Java 高并发编程中，线程池不仅是提升系统吞吐量的“利器”，更是面试中的“常客”。然而，很多同学在实战中经常遇到任务丢失、系统 OOM 或是线程数配不准的问题。今天，我们就来彻底拆解 ThreadPoolExecutor 的底层逻辑，并看看它如何与 CompletableFuture 优雅配合！
2025-12-18 23:45:11
1182
原创 云原生：用物流系统生动例子秒懂Kubernetes核心架构（Pod、Deployment、Service、Ingress）
本文通过物流系统的生动类比，解析Kubernetes四大核心组件：Pod：快递配送车，作为最小调度单元，包含主容器和辅助容器，共享网络与存储资源Deployment：车队调度中心，管理Pod副本数量，实现滚动更新和自动扩缩容Service：永久客服热线，为动态Pod提供稳定的访问入口，通过标签选择器关联后端PodIngress：智能分拣总站，处理外部流量路由，实现基于域名/路径的请求分发
2025-12-15 12:18:24
1204
原创 SAST、DAST、FOSS、SonarQube 企业级扫描工具解析
企业级代码安全需要"四重安检"体系：SAST（静态扫描）用于早期代码审查，DAST（动态测试）模拟真实攻击，FOSS检测开源组件风险，SonarQube综合评估代码质量。建议开发期组合使用SAST、SonarQube和FOSS，测试期加入DAST深度扫描，运维期持续监控。实施时需避免工具堆砌、只扫不改等问题，建立统一安全平台，将安全流程融入DevOps全生命周期。真正的安全防护是体系化能力，需要流程化、指标化和一体化的管理，而不仅是工具清单。
2025-12-15 10:46:03
775
原创 PostgreSQL 同步模式（Synchronized Mode）详解：数据安全与性能该如何抉择？
PostgreSQL同步模式(Synchronized Mode)是主备复制中平衡数据安全与性能的关键机制。文章从概念、默认配置、场景选型和注意事项四个维度展开分析：同步模式确保主备数据强一致但降低性能，异步模式优先性能但存在数据丢失风险。默认配置为异步模式，金融交易等核心业务需开启同步，而高并发场景或非关键系统建议关闭。使用同步模式需注意配置同步备库、性能测试和灵活调整同步级别。最终选择应基于业务对数据丢失的容忍度，在安全与性能间取得平衡。
2025-12-08 22:36:22
758
原创 Spring Boot 实现内存缓存静态资源 + 刷新 API
本文介绍了一种优化静态资源访问的方案，通过内存缓存提升性能。核心设计使用ConcurrentHashMap缓存文件内容，在服务启动时预加载常用静态资源（HTML/CSS/JS），并实现MIME类型自动识别。方案提供两个关键接口：获取资源接口根据文件后缀设置正确的Content-Type；刷新接口可在资源变更时重新加载到内存。该实现避免了频繁的磁盘IO，同时确保浏览器能正确解析静态资源，适用于需要高性能访问静态文件的Web应用场景。
2025-12-04 21:41:08
603
原创 巧用JAVA函数式编程解决IF-ELSE判断过多问题
摘要：本文介绍三种Java函数式编程替代if-else的方法：1)策略模式+函数式接口，用Map存储条件与处理逻辑；2)Predicate+Stream组合，将条件抽象为Predicate并用Stream匹配；3)枚举+Lambda，在枚举中定义处理逻辑。这些方法能提升代码可维护性和扩展性，避免复杂的条件判断链。示例代码展示了每种实现方式，适用于不同业务场景。
2025-12-04 21:24:17
394
原创 MyBatis XML Mapper语法错误 Error creating document instance. Cause: org.xml.sax.SAXParseException；
MyBatis XMLMapper常见问题解析：当SQL中包含特殊字符（如<、>）时，XML解析器会误认为标签导致报错。解决方法是用<![CDATA[]]>包裹SQL语句。文章列举了MyBatis XML文件中常见的6种语法陷阱，包括特殊字符处理、动态SQL空格问题、标签嵌套规范等，建议团队在代码评审时重点检查Mapper文件，避免这类低级错误。最佳实践是涉及特殊符号时优先使用CDATA包裹SQL语句。
2025-11-30 16:46:06
457
原创 SpringBoot3+Junit5中如何使用Mockito框架模拟repository查询和http请求？
本文介绍了在SpringBoot3+JUnit5环境下使用Mockito进行测试的方法。通过@Mock/@MockBean可模拟Repository接口，避免依赖真实数据库；使用MockMvc或WebTestClient可测试Controller层的HTTP请求；还能模拟RestTemplate/WebClient的外部API调用。文中提供了UserRepository、UserService和UserController的完整测试示例，展示了如何模拟查询和HTTP请求，验证业务逻辑的正确性。
2025-11-30 09:50:46
306
原创 Spring Boot单元测试实战：如何读懂JaCoCo覆盖率报告？以及如何改进代码覆盖率Code Coverage？
单元测试覆盖率报告显示关键问题：核心方法测试缺失，整体覆盖率仅38%。JaCoCo报告分析显示updateUser、getUserById、deleteUser方法完全未测试（0%），而createUser等部分方法达到100%覆盖。报告关键指标包括未执行指令（22/36）、未覆盖行（6/10）和未测试方法（3/6）。建议优先为缺失测试的核心方法（如用户更新、查询、删除）编写单元测试，特别关注边界条件和异常处理，目标将整体覆盖率提升至70-80%。Service层核心逻辑应作为重点测试对象。
2025-11-30 09:32:13
1109
原创 Qlik Sense Review/Optimize QVDs
文章摘要： 该文档介绍了使用Qlik Sense QVD Monitor应用优化QVD库存的流程，重点包括：1) 检测QVD文件的异常增长趋势（正/负），需验证异常原因；2) 通过列名分析识别重复或逻辑冲突的字段，避免数据不一致；3) 评估高重叠率（≥50%）的QVD文件，判断是否为冗余设计或无意重复。要求至少14天数据以观察趋势，建议结合源应用检查异常情况。最终需根据业务场景判断重叠是否合理，定期维护以避免存储膨胀和逻辑混乱。
2025-11-27 23:03:15
1053
原创 实战分享：用 SpringBoot-API-Scheduler 构建 API 监控闭环 —— 从断言验证到智能警报
SpringBoot-API-Scheduler项目通过"断言验证+警报通知"功能解决API调度监控痛点。断言验证提供3种规则（状态码/JSON关键字/JSON路径）判断单次API执行是否正常，警报功能则基于"失败率阈值+时间窗口"策略监控趋势性异常。两者形成"即时检查-批量分析-异常通知"闭环，适合中小团队快速构建轻量级API监控方案。https://github.com/moshowgame/springboot-api-scheduler
2025-11-27 22:47:20
816
原创 深入理解 RCA 分析中的 5Why：启示与实战价值，让问题不再重复发生
5Why分析法是一种通过连续追问"为什么"来挖掘问题根本原因的工具。在技术工作中，它能帮助团队穿透表象，从系统层面解决问题，而非仅处理表面症状。文章结合技术场景，详细解析了5Why的核心思维：1）避免"治标不治本"；2）培养系统思维；3）重视数据支撑；4）灵活运用追问次数。同时提供了5Why在故障排查、质量改进、流程优化中的具体应用案例，以及标准实施步骤和常见误区。5Why不仅是一种分析方法，更是一种思维方式，能帮助技术团队从"解决问题"转向&qu
2025-11-25 22:40:39
1106
原创 SpringBoot-API-Scheduler 轻量级 API 定时调度解决方案
本文介绍了一款专为API调度设计的轻量级工具SpringBoot-API-Scheduler，它基于SpringBoot3开发，集成了OkHttp、PostgreSQL等技术，具有开箱即用、配置简单等特点。文章详细讲解了该工具的部署流程、核心功能及实战应用，包括任务创建、断言配置、日志查看等操作。同时提供了常见问题解决方案，并与传统调度框架进行了对比，指出其适合中小型项目的API调度场景。最后分享了项目维护信息和使用建议，帮助开发者快速上手这一轻量级调度解决方案。
2025-11-25 22:11:47
1896
原创 mybatisplus3.5.14和springboot3.5.8出现Invalid value type for attribute ‘factoryBeanObjectType‘
👉 这是官方为 Spring Boot 3.x 提供的适配版本，内部已经替换了兼容的。，在扫描 Mapper 接口时生成代理对象失败。，避免手动维护依赖。
2025-11-23 12:11:27
1838
原创 软件测试中的unit test,smoke test,functional test, regression test 有什么区别和联系
Unit Test→ 保证代码逻辑Smoke Test→ 保证构建可用→ 保证业务正确→ 保证改动不破坏旧功能分层设计、自动化优先、用例库管理、度量反馈。这样才能既覆盖全面，又不让测试需求失控。Powered by Moshow 郑锴 🚀 | Might the holy code be with you!
2025-11-18 22:50:06
549
原创 2025年11月18日黑色星期二,Cloudflare全球性故障,众多网站无法访问
2025年11月18日，Cloudflare发生全球性宕机4小时，导致18%互联网服务瘫痪。故障源于异常流量冲击核心组件，引发连锁反应，影响社交、支付、游戏等多领域。此次事件凸显互联网基础设施过度集中的风险，建议企业部署多CDN架构，个人遇500错误时避免频繁刷新。Cloudflare通过状态页、博客和推特实时更新进展，承诺发布根因分析。该事件再次引发对网络韧性建设的讨论。
2025-11-18 22:35:14
1474
原创 HSBC Liquidity Solution的IEF(Interest Enhancement Facility)有什么功能和用处?
IEF（利息增强机制）是一种集团账户利息优化工具，通过合并账面余额提升利率收益，无需实际资金划拨。主要功能包括：基于集团总余额获取更高利率、免资金物理移动的跨境适用性，以及自动利息分摊的会计便利。作为虚拟归集（Notional Pooling）的延伸，IEF特别适合资金流动受限或分散管理的企业，在合规前提下实现利息收益最大化与财务管理自动化。常见于跨国银行的企业客户服务中。
2025-11-17 00:35:11
273
原创 HSBC/JPM Liquidity Solutions之CashCon 与 Pooling
《流动性管理的资金归集策略：CashCon与Pooling解析》企业流动性管理中，CashCon与Pooling是两种核心资金归集方式。CashCon通过实际划拨将子账户资金归集至主账户，实现资金统一调度，适用于集中支付与投资，但可能面临跨境监管限制。Pooling则通过虚拟归集优化利息计算，包括单币种(SCNP)和多币种(MCNP)模式，虽不实际转移资金但能降低融资成本并规避税务风险。两者常组合使用：CashCon确保资金可用性，Pooling优化账面管理。这种"物理+虚拟"的双轨体系
2025-11-17 00:18:39
363
原创 从 Spring Boot 3+Java 21 到 Spring Boot 4+Java 25：迁移全指南
SpringBoot4正式发布，基于SpringFramework6.2和Java25 LTS版本，为开发者带来新特性与性能提升。本文提供迁移指南：1)环境准备需升级JDK25+及构建工具；2)重点关注核心依赖版本变更；3)适配SpringBoot4的自动配置简化、Web层调整等破坏性变更；4)利用Java25虚拟线程、字符串模板等新特性优化代码；5)通过兼容性测试和性能基准测试确保平稳过渡。文末附迁移Checklist和版本对照表，建议分阶段验证并迁移。
2025-11-11 13:44:26
3370
原创 Java 25 重磅发布：LTS 特性全解析 + 实战案例 + 维护时间线
Java25 LTS重磅发布：性能革命+8年维护保障 四大核心升级： 【虚拟线程】正式版实现百万级轻量并发 【字符串模板】消除SQL注入风险 【模式匹配】增强类型安全性 【AOT】预热+紧凑对象头显著提升性能
2025-11-11 13:33:45
1453
原创 深入理解 PostgreSQL Tuple 与 Dead Tuple：检测方法与 VACUUM 自动化实践
PostgreSQL中，tuple（元组）指表中的行记录。其采用MVCC机制，更新/删除时会生成新tuple，旧tuple标记为deadtuple（死元组）并占用空间，导致表膨胀和性能下降。可通过pg_stat_user_tables视图检测死元组数量及占比。VACUUM命令用于清理死元组，包括常规清理(VACUUM)、带统计更新(VACUUM ANALYZE)和彻底压缩(VACUUM FULL)。建议通过自动化脚本定期清理（如死元组占比超20%时触发），并针对大表单独优化autovacuum参数。合理管理
2025-11-06 00:07:23
948
原创 Spring Boot 多线程文件复制服务（支持大文件流式/NIO复制、失败重试、覆盖写入）
摘要：本文介绍了一个基于SpringBoot的自动化文件复制服务解决方案，适用于分布式系统中的文件分发场景。该服务支持多线程并发复制、配置文件管理、任务队列合并调度等功能，提供两种大文件传输模式（流式分块和NIO零拷贝），并具备失败重试和覆盖写入能力。核心设计包括任务队列管理、定时调度执行、多线程复制等模块，通过REST API提供任务入队、立即执行和查询历史功能。系统还支持详细的日志记录和监控指标输出，有效解决了企业运维中大批量文件分发的效率和可靠性问题。
2025-11-06 00:04:04
1080
2
原创 PostgreSQL死锁排查攻略：从日志分析到实时监控
PostgreSQL死锁排查与解决指南 摘要：PostgreSQL 16默认不会记录死锁信息，需要手动配置日志记录。启用死锁日志需设置log_lock_waits=on和调整日志级别。死锁发生时，日志会显示进程ID、SQL语句等详细信息。可通过pg_terminate_backend或pg_cancel_backend终止进程。实时监控可用系统视图查询锁等待情况。建议生产环境启用日志记录，保持默认1秒超时，定期检查pg_stat_database中的死锁计数器，并通过代码层面预防死锁。合理配置可大大减少死锁
2025-11-02 19:52:41
1266
原创 PostgreSQL 16 性能调优指南
摘要：针对16核CPU+256GB内存的高性能环境，本文提供了PostgreSQL 16的关键参数调优指南。主要优化包括共享缓冲区(64GB)、工作内存(128MB)等内存配置，并行处理设置充分利用16核CPU，以及自动清理和I/O性能优化。关键参数调整可大幅提升查询速度、索引创建效率和系统整体性能，同时防止表膨胀。调优需注意参数生效方式、资源监控和负载特性，建议逐步调整并观察效果。文末还提供了配置重载和参数查看的SQL命令。（150字）
2025-11-02 19:45:40
941
Qlik Sense : 条形图练习资源（Interpreting-BarCharts）
2024-02-16
Qlik Sense May 2023 WITH CONNECTION ISSUE FIX
2024-01-03
itisscg.zip
2021-05-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人