jsjqjy的博客

原创 mongoDB之 MongoPlus

官网：MongoPlus码云：MongoPlus: 🔥🔥🔥使用MyBatisPlus的方式，优雅的操作MongoDB

原创 idea社区版2024

原创 异构数据同步 datax （3） xxl-job 分布式任务调度

datax 需要手动执行 python 脚本来满足需求，可通过XXL-JOB 进行任务调度实现，满足自动化数据同步需求。

原创 异构数据同步 datax （2）-postgres 写扩展

可参考下面文章。

原创 异构数据同步 datax （1）

"speed": {

原创 spring-gateway 自定义限流

代码中的限流逻辑是基于每个路径的总请求数进行的，而不是在特定时间窗口内的请求数。这意味着如果一个路径在短时间内收到大量请求，只要总数不超过 MAX_REQUESTS_PER_SECOND，请求就会被允许通过。所以，如果需要根据当前用户来限流，在缓存key中，添加userID 来判定即可。某个服务需要对它的所有接口进行流量控制，已降低服务器资源的利用。其中响应式 redis 配置如下。这样就完成了一个完整的限流功能。gateway 路由配置。

原创 Spring AI- alibaba

Spring Cloud Alibaba AI 目前基于版本 API 完成通义系列大模型的接入。通义接入是基于阿里云灵积模型服务，灵积模型服务建立在“模型即服务”（Model-as-a-Service，MaaS）的理念基础之上，围绕 AI 各领域模型，通过标准化的API提供包括模型推理、模型微调训练在内的多种模型服务。

原创 Nacos 国际化

关键文件目录截图如下：（这个项目中是把i18n独立出来，实际还是需要融合到项目中）

原创 好用的IP反查接口（2）

因为在线接口有限制（毕竟别人提供服务，服务器，数据维护，域名啥的都要费用）， 所以本地化服务的需求。

原创 短视频利器 ffmpeg （2）

ffmpeg 官网这样写到。

原创 短视频利器 ffmpeg （1）

使用FFmpeg切片视频有多种好处，尤其是在处理流媒体内容和优化视频分发时。

原创 Gmail 两步验证+应用专用密码登录

*** @desc : TODO 请填写你的功能描述*/@Autowired/***/@Getter@Setter。

原创 JustAuth-极简-第三方登录

需要按照官方的指导，去做相关第三方-开发者账户相关申请 （流程有点多）所以先看下是否有好的框架。

原创 大模型相关概念（转）

临时抱佛脚专用 大语言模型概念速成_哔哩哔哩_bilibili

原创 canal 自定义客户端 优雅实现 (3)

MQ数据结构: 包括数据库，表，data表字段及数据，type： 新增 | 更新 | 删除show core code：(原则是不写一行SQL)@Getter;/*** 要扫描的包名*/> clazz;> clazz) {/*** 构建表名 与枚举关系* @return*/// 获取指定包下所有类Set

原创 openfeign之header 参数传递

思路：header信息 拦截器， 把header中的信息，存储在调用的本地线程中，进行数据传递。有时候，在调用Feign接口的时候，需要传递相关header参数到被调用方。

原创 1panel 好用的面板

docker 环境。

原创 mongoDB 优化（2）索引

感觉这篇文章写得很好，可以参考。

原创 关于时区一致性设置

服务器部署海外，这时候，需要考虑时区问题，很多程序地方不能写死，需要调整中间件或者服务器时区，达到代码零调整。

原创 python 开启restful之路

python 官网下载 3.8。

原创 知识图谱-图数据库-neo4j （1）踩坑记录

由于目前还是用的 jdk8;所以需要安装jdk8支持的neo4j乌班图系统数据库排名。

原创 spring boot 解决前端处理Long溢出问题（转字符串）

【代码】spring boot 解决前端处理Long溢出问题（转字符串）

原创 JAVA 启动设置

当进行过Metaspace GC之后，会计算当前Metaspace的空闲空间比，如果空闲比小于这个参数（即实际非空闲占比过大，内存不够用），那么虚拟机将增长Metaspace的大小。设置该参数可以控制Metaspace的增长的速度，太小的值导致Metaspace增长的缓慢，Metaspace的使用逐渐趋于饱和，可能会影响之后类的加载。当进行过Metaspace GC之后， 会计算当前Metaspace的空闲空间比，如果空闲比大于这个参数，那么虚拟机会释放Metaspace的部分空间。

原创 sensitive-word 敏感词 违规文字检测

敏感词、sensitive-word、脱敏、

原创 Skywalking

skywalking 主要是偏后端API上报，对于有用户行为统计，但是需求不多的个性化功能，可以考虑自研，这样可提高定制化的灵活度，方便网站的运营。Http默认端口 12800 【前端上报端口】，gRPC默认端口 11800【后台上报端口】。数据源可以选择关系数据库 PostgreSQL 或者ES等。下载apm 及agent。前端有相应的js SDK。

原创 ps 命令应用内存占用

vsz :进程的虚拟内存大小，单位为kB，它等于sz乘于物理页面大小(x86平台通常为4kB)。进程的虚拟内存大小，单位为kB，它等于sz乘于物理页面大小(x86平台通常为4kB)。sz: 进程映像所占用的物理页面数量，也就是以物理页面为单位表示的虚拟内存大小;rsz：进程占用的物理内存,单位kB (rss 与 rsz 一样)vsz：进程占用的虚拟内存,单位kB。

原创 mongoDB 优化（1）索引

查询一个doc 的时长 5.652s (远程连接云服务器查询)查询一个doc 的时长0.95s (远程连接云服务器查询)新增索引前插入时长：72852ms (平均)新增索引后插入时长：75447ms (平均)

原创 mongoDB 听说是能抗万亿级数据的NOSQL

环境是CentOS 7.0，下载的是CentOS7.0版本，注意2、给mongodb添加环境变量3. 创建数据存储目录和日志文件目录4. 编辑mongdb配置文件5. 使用配置文件启动MongDB6、mongoDB GUI7、java 如何像mybatis-plus 那样链式调用？推荐mongo-Plus,官网地址： Mongo-Plus删除新增修改分页统计还有更多使用，欢迎去探索吧代码托

原创 好用的IP反查接口

IP-API.com - Geolocation API - Documentation - JSON

原创 mysql 分表实战

1、业务需求，每日160w数据，每月2000w;解决数据存在性，并添加一个自增字段，进行数据统计。3、分表的目的:解决大表性能差，小表缩小查询单位的特点(其实优化的精髓就是缩小范围)2、数据库mysql 8，默认innerDB;mysql自带的逻辑分表。4、创建分区表-range。5、创建事件-定时创建分区。

原创 canal 增量数据同步es 自定义客户端(2)

canal 增量数据同步 MQ

原创 MySQL空间索引无效问题

MySQL 空间索引 无效问题

原创 spring gateway & 响应加密

一般情况是，Filter Order 的问题。因为你这个Filter执行的优先级比较低导致被截断。不生效，请看这里，比较详细。

原创 spring stream & rocketMQ

代码指路：labx-06。

原创 Alibaba Cloud Toolkit 本地部署飞起

本文主要介绍本地部署。（也支持阿里云部署）

原创 ThreadPoolTaskExecutor & 上下文传递 & ThreadLocal

有些异步线程场景，需要我们获取主线程对应的上下文信息，否则无法进行逻辑处理1、MDC --设置请求链路追踪的traceID，子线程知道可以进行链路追踪。2、Request Headers 设置的特殊标识信息，存放在 TransmittableThreadLocal中，子线程需要知道相关信息。

原创 百万级数据存储 & 判定数据存在性

bitmap 高效解决数据存在性问题，统计问题

原创 canal 增量数据同步es 自定义客户端(1)

springboot集成easy-es使用demo多表同步集成canal_client_es: 自定义canal客户端，实现mysql多表同步elasticsearchapplication.yml配

原创 spring.servlet.multipart配置不生效问题

spring.servlet.multipart.enabled 是否为 true。比如springboot 2.X 以上版本，则进行如下配置。MultipartProperties 属性类。使用的是tomcat作为web容器。spring 启用配置开关。

原创 Nginx 模块化

其中每个test 对应配置一个server;其中vhost 文件夹与nginx.conf文件放在一个目录。gateway_and_obs_server 配置如下。2、共用的location include配置。1、多个Server include配置。