scugxl的专栏

原创 博客已迁移到github

博客已迁移到github。

原创 mysql federatedengine 使用

MySQL联邦表(FEDERATED引擎)存在严重性能问题：当查询无法使用索引时，会从远程表获取所有数据在本地进行过滤，导致内存暴增和网络过载。测试显示，500万行数据在源端执行仅需0.6秒，而通过联邦表查询耗时10分钟且内存从150MB飙升至1.6GB。问题根源在于联邦表不会下推WHERE条件到远程服务器，而是将所有数据拉取到本地处理。这解释了生产环境中MySQL因OOM被kill的现象。建议避免对大表使用联邦表，或确保查询能利用远程表索引。

原创 真实还原定位java内存OOM步骤

文章目录abstract问题现象头大的分析步骤如何获取内存dump?尝试1尝试2尝试3如何分析内存dump?根本原因学到的参考abstract自己做了很久的java开发了, 很久没有写关于内存泄漏/溢出相关的问题定位了. 本文会描述一个十分曲折的定位过程. 从本文里面可以学到:jdk11的内存dump如何分析大对象如何结合OQL还原真实的问题现场问题现象产品某一台服务器发现...

原创 Java cpu 监控 分析

Abstract在这篇文章中我们会综合性的介绍如何监控JVM cpu,  thread 级别cpu, 以及如何通过JFR技术来分析JVM的CPU 问题. 如何获取CPU这里我们会先介绍如何在进程内部获取JVM的CPU. 这里我们主要采用JVM 自带的JMX来实现对自己的监控.获取整个系统的JVM cpu可以通过调用mbean中的getProcessCpuTime方法来得到中...

原创 [cs221] p1 General Intro

翻译 【翻译】我用 PostgreSQL 替换了 Redis（而且更快）

我用PostgreSQL替换Redis并实现更快性能 摘要： 作者分享了将Redis功能迁移到PostgreSQL的经验，成功简化技术栈并降低成本。PostgreSQL通过UNLOGGED表实现高效缓存（0.08ms插入），使用LISTEN/NOTIFY进行发布/订阅（2-5ms延迟），以及利用SKIP LOCKED特性构建任务队列。虽然单个操作略慢于Redis，但整体性能更优，且消除了数据一致性问题。这一改变每月节省约100美元运维成本，并减少了系统复杂度。特别展示了实时日志流的实现方案，通过触发器自动发

原创 《高性能mysql》读书笔记

摘要：本文介绍了MySQL存储过程的监控方法。通过示例展示了创建简单存储过程SimpleSelectOne，演示了如何查询performance_schema.events_statements_history表来监控存储过程中的SQL执行情况。重点说明了仅能看到执行的SQL而无法直接识别所属存储过程的问题，并提供了通过关联call_event_id和nesting_event_id字段来追踪存储过程调用的解决方案。文中包含SQL查询示例和截图说明，帮助理解存储过程监控的实际操作流程。

原创 虎嗅24小时屏蔽机器人评论的油猴脚本

本文介绍了一个名为"虎嗅评论过滤"的油猴脚本，用于自动检测并屏蔽虎嗅网站上评论数超过100页的用户评论。脚本通过定时检查新评论（间隔2秒），从评论元素中采用多种方式提取用户ID（包括会员链接、data属性、class/id等），然后向虎嗅API发送请求获取用户评论总页数。当检测到用户评论页数超过设定阈值时，脚本会自动屏蔽该用户的评论。脚本还实现了请求队列管理，避免重复检查同一用户，并包含详细的调试日志功能，便于排查问题。

原创 Mydumper一致性数据dump

本文探讨了将MySQL大数据库迁移到ClickHouse进行分析的三种方法：1)使用ClickHouse的MySQL引擎进行远程查询，但性能受限；2)利用MaterializedMySQL引擎(22版本)进行复制，但新版本已移除；3)采用mydumper工具导出数据后增量同步。重点分析了mydumper的工作原理，它通过获取全局读锁(FTWRL)确保数据一致性，记录binlog位置，并在多线程环境下创建一致性快照，最后释放锁以最小化对生产环境的影响。该方法相比mysqldump具有更高性能和更小的文件体积。

原创 PostgreSQL 完全迁移指南：从 MySQL 到 PostgreSQL 的详细教程

PostgreSQL迁移指南：从MySQL到PostgreSQL的关键差异与实践 本文为熟悉MySQL但缺乏PostgreSQL经验的高级后端程序员提供全面的迁移参考。重点对比了两大数据库系统的核心架构差异： MVCC机制：MySQL使用增量存储，PostgreSQL采用整行复制，导致不同的表膨胀特性和性能表现 存储架构：PostgreSQL的统一存储引擎与MySQL的多引擎架构对比 数据类型：PostgreSQL提供更丰富的类型系统，包括JSONB、数组、范围类型等高级特性 指南还涵盖了SQL语法差异、性

原创 [metabase]高级使用技巧1 geojson导入和图表，动态sql执行， 动态过滤，动态分组，动态列

本文是metbase的高级技巧分享，主要包括：geojson导入和图表，动态sql执行， 动态过滤，动态分组，动态列

原创 centos7 docker离线安装

本文介绍了在CentOS 7.6无网络环境下离线安装Docker 18.03的方法。通过Docker in Docker方式下载依赖：1)启动centos:7.6.1810容器并挂载输出目录；2)更新EOL的yum源；3)添加Docker官方repo；4)使用yumdownloader下载docker-ce和containerd.io的rpm包。最后将下载的rpm包复制到目标机器，通过yum localinstall安装，必要时可删除冲突依赖包（如selinux*等）。该方法适用于高安全企业环境。

原创 [metabase]系列文章- 数据迁移h2到mysql

在可能在使用后才能发现h2不是一个生产环境很好用的选择，所以本文选择mysql作为底层数据存储。并且描述如何从h2迁移到mysql。

原创 metabase基础使用技巧 （dashboard, filter)

本文介绍了Metabase的基础功能和使用方法。主要包含三个核心功能：1）Question功能，通过可视化界面创建格式化的查询，支持数据筛选、分组和图表展示；2）SQL Query功能，支持直接编写SQL查询并定义变量；3）Filter功能，包括文本、数字、日期和字段筛选器，支持动态关联表字段。文章还讲解了如何实现Dashboard上的筛选器联动，通过连接查询字段实现多个查询的同步筛选效果。

原创 [metabase]系列文章-安装与介绍

本文是metabase系列文章的第一部分，作者在调研BI系统时基于开源、免费、易用和可集成的标准，对比了Apache Superset、Grafana、Metabase等工具。最终选择Metabase主要因其用户友好性、简单安装和集成便利，尽管存在企业版功能限制。文章详细介绍了通过Docker快速部署Metabase的步骤，包括初始设置、数据库连接配置和域名设置，并展示了系统自带的丰富数据示例。后续将深入介绍Metabase的基础使用。

原创 [metabase]系列文章

本文拟撰写Metabase使用技巧系列文章，涵盖基础到高级功能。主要内容包括：Metabase安装指南、仪表盘和过滤等基础操作、H2数据库查看与迁移至MySQL技巧；高级应用涉及GeoJSON地图数据导入、动态SQL查询与分组、列过滤功能实现，以及Java/Python等SDK嵌入与参数配置方法。文章旨在帮助用户从入门到精通掌握Metabase数据分析工具。

原创 记录某大型风控系统调研中踩坑

本文记录了迁移大型风控系统时遇到的技术难点与解决方案。主要内容包括：1）后端编译阶段通过Nexus镜像和HTTP Maven仓库配置解决依赖问题；2）数据库层面处理了UUID生成异常、binlog函数信任、GROUP_CONCAT长度限制等问题；3）特殊场景下FEDERATED引擎和SQL模式配置的调整；4）运行时优化MyBatis日志输出性能，并实现自定义ID生成插件。这些实践经验为类似系统迁移提供了参考，特别是针对无原始技术支持情况下的技术适配工作。

原创 调查APISIX上的java插件重启问题

摘要：APISIX Java插件自动重启问题排查问题：APISIX中Java插件会无故自动重启。调查过程：日志排查无异常，但发现respawn相关记录通过dmesg发现是Linux OOM Killer杀死了Java进程根本原因是k8s容器内存限制(2GB)被耗尽Java进程配置(1GB堆内存)与容器内存限制冲突解决方案：增加APISIX容器内存限制或降低Java堆内存参数(Xms/Xmx)经验：善用AI获取系统架构信息掌握dmesg过滤OOM日志技巧

原创 【温故知新】直观看到synchronized的锁升级过程

本文将直观展示synchronized的多个锁升级过程和使用场景。温故知新

原创 监控房价和挂牌数量的工具-以成都房价为例

本文将介绍如何通过择维士zervice提供的工具来监控成都房价（其他城市或者地区类似），包括价格和挂牌数量。可以对购房一族提供数据参考。

原创 【闲聊】一个关注健康的小程序--科技镜头

一个可以快速扫描食品配料表的镜头，您只需拍摄食品配料表的照片，即可获得对您所摄取的食品配料的智能分析和健康建议。无需复杂的搜索和研究，让您轻松了解每种食品中的成分和潜在的健康影响。

原创 写给Java程序员的GRPC入门系列（3）

网上有很多GRPC的例子，但是却没有能够写给普通Java开发人员手把手入门少走弯路的教程。本教程保证按照步骤一步步来你就可以完成GRPC从0到1的构建。

原创 写给Java程序员的GRPC入门系列（2）

网上有很多GRPC的例子，但是却没有能够写给普通Java开发人员手把手入门少走弯路的教程。本教程保证按照步骤一步步来你就可以完成GRPC从0到1的构建。

原创 写给Java程序员的GRPC入门系列（1）

网上有很多GRPC的例子，但是却没有能够写给普通Java开发人员手把手入门少走弯路的教程。本教程保证按照步骤一步步来你就可以完成GRPC从0到1的构建。

原创 Spring AOP aspect切面指北

spring aspect切面基础写法和示例

原创 XMLPath的基本使用

XPath是一种用于在xml格式的内容中提取信息的方式. 它与从JSON中提取信息的JSONPath类似. 本文将介绍xpath的基本格式以及在Java中如何使用Xpath提取信息.

原创 根据IP查询地理位置信息

根据IP查询地理位置信息。

原创 记录一次线上被病毒攻击的事件

本文记录了在产品中遇到的关于被黑客攻击的事件始末. 这里面会讲述到如何通过监控工具来帮助普通程序员与黑客进行"斗智斗勇"的故事.

原创 BitSet的python实现

bitset算是设计很精巧实现巧妙地那一类集合。本文讲述了如何在python中实现java版本的bitset

翻译 Kafka应用处理消息失败时怎么办

错误处理和重试对于所有应用都非常重要. 对kafka也不例外. 本文提供的这些方法无法覆盖所有的场景, 但是希望可以对你的需求提供指导.

原创 记录Pcap4j使用的一次异常调查和分析

TCP/IP协议看似复杂,但是实际上设计的是很简单高效的,RFC设计的也很精巧,而且我们只需要从大到小一点点解析就可以很方便的通过pcap4j得到并解析你想要的任何数据.

转载 网站服务如何保证证书的有效性？

本文讲述了对于证书管理中的问题和如何使用工具来及时监控和自动解决证书安全问题

原创 记录一次线上的文件描述符泄露问题

在遇到不同寻常的数据时,往往会关联其他数据也出现异常,而且很有可能有相似的模式,而AI非常适合来找到这些隐藏的关联来辅助我们定位和发现问题从而节约开发定位问题的时间.择维士预测: 预测未来一段时间的数据. 比如磁盘占用.相关性: 发现与选定数据模式高度匹配的数据. 用来问题关联分析.异常数据: 自动发现当前系统中的可能异常的数据. 并推送通知....

原创 监控MySQL (一) 如何打开MySQL慢查询日志

慢查询会严重影响数据库性能和服务器整体性能. 慢查询日志的功能可以让MySQL记录下那些超过一定执行时间的语句,从而有助于我们查看和优化耗时的查询.本文最初发表于择维士社区

原创 如何使用JSONPath

介绍JSONPath的语法和使用

原创 记录Postgresql 查询慢问题

问题线上aws rds 偶尔出现sql查询很慢 异常慢。 比如如下的一个表：最终发现是一个很普通的sql：select * from int_twilio_twilionumber where merchant_id = 1234 and active = true and "default"=trueorder by date_created limit 1这个查询竟然发了2-3分钟无法回复。调查1. 查看表大小 800MB：， 表记录大概4000条。SELEC...

原创 Redshift disk full 问题

select *from stl_query where query=170281811最近线上redshift disk时不时会有一个spike的问题， 需要调查下。第一步 先监控问题通过如下的java代码可以获取redshift的disk当前使用率：/** * Note this method will return the prod redshift disk usage. * * https://console.aws.amazon.com/ia.

原创 我是如何使用quarkus优化jvm性能的

背景公司在重度使用aws的ECS 功能。 ECS 简单来说就是亚马逊版本的docker服务。最近aws默认的cloudwatch free-tier已经超过限制了。 所以就想自己搭建日志平台。大致平台如下：因为公司的使用了各种语言python nodejs java和各种开源软件服务比如airflow而我们需要解决的就是：对各种服务的日志如何快速统一的收集到我们的平台之中。调查发现后， aws实际上提供了一个服务：aws firelens 可以用于快速的将日志转发到其他地方， 比如splunk。

原创 小而美的java webserver框架--Javalin

javalin 是一个非常简单易用的web框架, 官网https://javalin.io/ 对于想快速搭建一个简单地web请求通讯服务器非常方便, 这篇文章就来介绍下:build gradle在build.gradle中引入: compile 'io.javalin:javalin:3.13.5'上手起来非常简单如下:import io.javalin.Javalin;public class HelloWorld { public static void .

原创 Docker kafka

工作中经常用到kafka，为了方便需要一个docker版的kafka，有人问为啥不是原生的？ 原生的每次要自己手动启动zk和kafka（新版只需要kafka）。那为啥不用k8s的呢？k8s本身比较zhan'y