呆萌小新@渊洁的博客

原创 MySQL高性能及性能优化技巧

Mysql的高性能优化和架构设计. 索引设计，查询方式，mysql底层结构

原创 后端签名前端直传 + 断点续传：以极致性能铸就全网最优分片解决方案

在数据传输需求激增的当下，本文提出后端签名前端直传结合断点续传的创新方案，旨在打造全网领先的分片解决方案。后端签名前端直传，让前端可径直向存储服务上传文件，减轻后端负载，极大提升传输速率。断点续传技术则在网络中断时，从断点处恢复传输，避免重复劳动，节约时间与带宽。通过严格校验文件参数、精心设计云路径拼接及md5查重机制，保障方案高效运行。本方案在性能上实现重大突破，为用户带来高效、稳定的文件传输体验，极具应用价值 。

原创 PDF多表格结构识别与跨表语义对齐：基于对抗迁移的健壮性相似度度量模型

对于pdf文本类型这种pdfbox，aspose-pdf，spire直接提取文本的精准性更高。基于此我们可能需要提取pdf中所有表格数据，完成数据录入。但是表格数据不同，还存在跨页表格问题。但是按照以下方案即可解决。本文的表格处理思想来源于mybatis的底层设计。表示我们可以把字符ascii映射到特征向量上，并通过单位向量归一化结果。获取第一块内容字串的标准化特征向量。表格解析器每检测一页的所有表格，就提交到批处理器进行具体数据清洗，归一化。哈达玛积为元素级乘法，输出同维向量，常用于局部特征交互。

原创 大型语言模型中 Transformer、MoE 与强化学习（GRPO/PPO/DPO）的整合研究

本文通过研习 B 站及知乎，论文等相关技术内容，旨在系统梳理并总结主流大模型架构 Transformer 的核心理论概念，深度解析其技术体系中涵盖的预训练（Pre-training）、监督微调（SFT, Supervised Fine-Tuning）、基于人类反馈的强化学习（RHLF, Reinforcement Learning from Human Feedback）等关键训练阶段，同时对各阶段涉及的优化策略（如 PPO 算法）进行原理阐释与逻辑推演。

原创 Stable Diffusion 3.5 模型在 Linux 上的部署指南

ComfyUI WIKI教程尝试过sd集成ollama，但是sd在ollama上无法良好运行。故此作罢最简单方式可以找秋叶启动器，但是不支持linux在此之前建议安装CUDA驱动，详见CUDA安装教程。

原创 重放攻击和数据防刷

原创 nginx配置自签证书以及负载均衡配置

nginx配置自签证书。

原创 docker部署rustdesk

默认情况下，hbbs 监听 21114（TCP，用于 Web 控制台，仅在 Pro 版本中可用）、21115 （TCP）、21116 （TCP/UDP） 和 21118 （TCP），hbbr 监听 21117 （TCP） 和 21119 （TCP）。21115 用于 NAT 类型测试，21116/UDP 用于 ID 注册和心跳服务，21116/TCP 用于 TCP 打孔和连接服务，21117 用于 Relay 服务，21118 和 21119 用于支持 Web 客户端。密钥是强制性的，但您无需自行设置。

原创 在离线环境Linux部署Ollama与Dify的CPU及CUDA版本，并将其整合至Spring AI项目中

以下适用于无法通过在线命令拉取的尝试过Stable Diffusion集成ollama，但是sd在ollama上无法良好运行。故此作罢。ollama自定义模型导入文档创建一个名为 Modelfile 的文件，并在其中包含一个 FROM 指令，该指令指向你想要导入的模型的本地文件路径。

原创 后端接收数组，集合类数据

后端接收数组，集合类数据。

原创 封装通用第三方平台用户表（微信开放平台）

首先强调的是 微信公众号平台和微信开放平台不是一个东西。 微信开放平台主要用于自己的系统对接微信。 而微信公众号平台主要使用微信公众号，小程序等微信内部程序对接微信开放接口。 而微信公众测试号不可用于微信开放平台。 微信开放平台必须通过企业认证注册应用实体，才能任意配置回调域使用测试域。微信开放平台微信开放平台文档微信公众号平台微信公众号平台测试号申请微信公众号平台文档扫描件内容必须与网站应用名称、网站应用简介、应用官网完全对应。 审查非常严格，不要得过且过。三.入库实体类四

原创 Channel shutdown: channel error； protocol method: #method channel.close (reply-code=404, reply-text=

大致场景是启动springboot时报错；原因是：当应用启动时，spring 会去检查注册的队列，跟服务器上的队列配置是否一致，如果不一致，则抛出这个错误。参考： https://www.cnblogs.com/xudong5273/p/16499538.html。spring-boot-starter-amqp启动器。每个微服务都可以做生产者和消费者，符合业务需求。rabbitmq多个微服务可用，因此我将其抽离到common模块。并重写封装了该方法。

原创 基于 Jakarta、TypeScript、GoLang 技术栈的国密 SM2、SM3、SM4 算法实践

最近还要深度研究hutools底层实现，一定要搞透澈，本章将会是持续更新Java代码实现SM2算法以及注意点总结（踩坑记录）国密算法工具Smutil。

原创 快速导出MYSQL表结构成EXCEl表格

一般的在数据库设计阶段，先在专业的sql检测工具编写表结构，还得再腾到表格中，十分头痛。

原创 vue2和el-input无法修改和写入，并且不报错

由于orginParams初始化为 originParams:{}.造成originParams被赋值时，属性均为动态型。虽然可以通过这种方式让父子数据交互，但可以发现，子组件的v-model接收对象，和props.row的交互逻辑异常麻烦。看过相关的很多内容，大部分集中在说需要添加$forceUpdate.而我根本不行。但我的业务中可以发现，进行了多层匿名子组件嵌套。上述内容中经测试，数据回显异常，程序不报错，无法显示输入变化，但是数据可以被正常修改。在我所在的业务场景中。业务中原本使用动态方式，

原创 SpringSecurity6 Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exce

ervlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Filter execution threw an exception] with root causeat jdk.proxy3/jdk.proxy3.$Proxy144.authenticate(Unknown Source)

原创 kubeadm引导欧拉系统高可用的K8S1.28.X

metrics-server 会请求每台节点的 kubelet 接口来获取监控数据，接口通过 HTTPS 暴露，但 Kubernetes节点的 kubelet 使用的是自签证书，若 metrics-server 直接请求 kubelet接口，将产生证书校验失败的错误，因此需要在 components.yaml 文件中加上 --kubelet-insecure-tls启动参数。表示对象的实际状态，该属性由k8s自己维护，k8s会通过一系列的控制器对对应对象进行管理，让对象尽可能的让实际状态与期望状态重合。

原创 (GEE)2000-2020年黄河流域时序渐变图及高程模型计算 JavaScript版

吴秋生老师团队的工具请自行探索。本文讲解基于GEE云开发平台实现，基于modis,黄河数据中心，LandSat7&8数据。请自行申请数据，但其shp,dem文件地理信息有误，最好向师兄师姐要现成的shp，dem文件。gee提供了点阵获取点位，但是较为麻烦。我选择上传shp矢量区域。

原创 SpringBoot整合Netty整合WebSocket-带参认证

【代码】SpringBoot整合Netty整合WebSocket-带参认证。

原创 关于mybatis插入返回主键id和SpringBoot事务注解自调用演示

结论： 建议事务注解放在controller层。或者放在controller调用的第一个service作为事务入口 不需要考虑很多问题。

原创 maven多仓库私库模板配置

文章目录<?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://maven.apache.org/SETTINGS/1.2.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.2.0 https://mave

原创 Jakarta-JVM篇

本篇总结 周志明 第三版内容;黑马程序员满一航,美团技术团队等内容综述安娜的档案-全球最全书籍文献数据库-科学上网GraalVM官方文档JDK8+ 调参官网指令首先要讲述的包含两类,当下使用最多的hotSpotVM和GraalVM。

原创 go-gin-vue3-elementPlus带参手动上传文件

go的mvc层使用gin框架. 总的来说gin的formFile封装的不如springboot的好.获取值有很多的坑.当然使用axios的formData也有不少坑.现给出较好的解决办法。axios前后端网络交互。

原创 go创建枚举类型

用惯了springboot和Jakarta.才发现springboot和Jakarta的语言是多么精妙!一些场景我们需要使用枚举: 如建立字典值映射,仅通过代码实现方便快捷;维护自定义响应码;维护下拉菜单选项 等.需要注意的是go建立结构体应尽量避免使用基本数值类型,应当使用`基本数值类型指针`. 因为基本数值类型默认数值可能会与状态值冲突.前端传值无法判nil. 当然也可借助gin等三方框架的校验规则,亦或设置负值默认值.这里给出的是弱依赖,仅用go就能解决的方式....

原创 EFK代替ELK方案7.17.3

最近发现,logstash日志收集器本身的内存占用和es相当,这也是logstash用java开发,其jvm本身就是内存消耗大户.为了降本增效,发现用go开发的beats可以替代logstash.ELK : 通常我们将服务器日志通过logback的http发送至logstash服务器统一处理,logstash采集处理后发送到elasticsearch服务器.filebeat应该和服务器代码一起,利用filebeat采集服务器存储的日志文件发送到es.以下是7.17.3到8.6的官方配置.只做增添.

原创 Elasticsearch 倒排索引技术内幕与实现细节剖析

FST在Lucene中被大量使用，例如:倒排索引的存储，同义词词典的存储，搜索关键字建议等。∶索引系统通过扫描文章中的每一个词，对其创建索引，指明在文章中出现的次数和位置，当用户查询时，索引系统过就会根据事先简历的索引进行查找，并将查找的结果反馈给用户的检索方式。Lucene是一个成熟的全文检索库，由Java语言编写，具有高性能、可伸缩的特点，并且开源、:当且仅当有限状态机在输入序列的末尾处于“最终"状态时，才"“接受”"特定的输入序列。约定: 所有没有对应出边的字符默认指向一个不存在的 “死状态”

原创 万级数据优化EasyExcel+mybatis流式查询导出封装

我们不妨先给大家讲一个概念，利用此概念我们正好给大家介绍一个数据库优化的小技巧：需求如下：将一个用户表的数据导出800万条。如果你不假思索，直接一条sql语句搞上去，直接就会内存溢出，因为mysql会将结果记录统一查询出来然后返还给内存：那内存可能直接OOM!@Test// 1、定义资源try {// 获取连接// 获取使用预编译的statement// 关闭资源。

原创 传输对象一定要实现Serializable接口吗

先说结论,Serializable不一定需要被实现. 在对象需要持久化保存到非关系型数据,网络传输RPC调用时候我们一般使用主流的Jackson,fastjson,fastjson2,hession2,protobuf,koyo等序列化工具. 而不是JDK序列化工具. 一般的上述主流序列化框架不需要检测Serializable接口,都有自己的实现.非关系型数据库以及网络对象传输肯定要序列化,但是得看用的啥框架.一般的主流框架不需要实现Serializable,它是jdk序列化识别的标志.

原创 electron+vue+ts窗口间通信

由于ts和electron上下文隔离策略限制不允许直接使用request读取IpcRederer对象. 我们可以借助 usevue vue的第三方集成api综合库.读取ipcRederer。因此官方为我们提供了IpcRederer向主进程发送消息的能力. 以及IpcMain主进程监听处理消息的能力.vue作为纯渲染线程不具备操作本地数据以及窗口间通讯的功能,必须由经electron主进程解决.现有场景: 用户点击图,在新窗口展示实时数据。Main.js/Main.ts 主进程。

原创 vue3+ts+pinia整合websocket

笔者自行整合网络资源,写了一套较为通用的通信模板. 包含 消息队列缓存, 心跳检测, 断线重连.读者可以自行阅读以下代码调整到业务所需.同时也请大家捉虫,笔者会及时修改.使用pinia原因是pinia具备共享数据性质.可以作为消息队列缓存数据,降低渲染压力.同时方便多个页面或组件获取websocket数据。先有实时数据需要展示. 由于设备量极大且要对设备参数实时记录展示.axios空轮询不太适合.注册pinia不再详细叙述,自行看官方文档.选择websocket长连接通讯.

原创 centos7离线拨号上网

由于去了新地方,公司管住.我的nuc服务器寸步不离我工作的地方,但是没想到要拨号上网…本文借鉴了CentOS 7 离线拨号（PPPOE）

原创 Flink1.17.0数据流

必须连续处理无限流，即事件必须在摄取后立即处理。不可能等待所有输入数据到达，因为输入是无限的，并且在任何时间点都不会完成。处理无界数据通常需要按特定顺序（例如事件发生的顺序）引入事件，以便能够推断结果完整性。可以通过在执行任何计算之前引入所有数据来处理有界流。Flink 被设计为在所有常见的集群环境中运行，以内存中的速度和任何规模执行计算。控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager所控制执行。可以在代码中指定,提交job指定,也可以在集群配置给默认的并行度.

原创 vue3+ts+vite+electron打包exe

该种方式十分简便.缺点是必须用vue开发完才能打包客户端.无法实时查看客户端样式。

原创 封装单例Jackson工具类

为什么不注入spring容器代理. 像这样的无状态的工具类,共享资源配置池,无状态配置类等.都可以不注入. 但是这个工具类不注入spring是因为.如下自定义单例写法/**// 日期格式化 private static final String STANDARD_FORMAT = "yyyy-MM-dd HH:mm:ss";} // 静态工厂方法获取单例 public static ObjectMapper getInstance() {

原创 SpringSecurity多源认证之全部交给spring容器

权这篇文章描述了基本security架构.如今这篇是全部交由spring security托管.但博主依然有一个问题不太清楚.放在文末.本篇文章基于认证/支付/优惠劵策略模式-security多源认证文章继续讲解。

原创 内网穿透常见方式推荐

● 打开代理配置>License管理页面，可以看到系统已经自动为管理员初始化了一条License记录，复制该LicenseKey备用，后续客户端配置需要。，下载最新的release包：neutrino-proxy-server.jar、neutrino-proxy-admin.zip。● 将neutrino-proxy-server.jar、neutrino-proxy-admin.zip上传至服务器部署目录。● 在服务器上创建目录：/root/neutrino-proxy/config。

原创 No provider available for the service.dubbo服务互调启动异常 java.util.HashMap is in module java.base of load

dubbo和openfeign的区别是dubbo是真正的rpc框架.支持多种通信协议.能面对更多的调用场景,而且跨语言. 它的思路是–>服务暴露自己的方法,注册到注册中心. 消费端则从注册中心调用服务暴露的方法.openfeign目的是让开发者调用更简约,因此它是http通信框架. 它的思路是–>服务指定url接口.直接调用目标模块的接口.我的dubbo提供端和消费端配置dubbo : application : name : vector - member # 与服务名一致即可。

原创 基于gin和gorm的go开发流程

项目地址写在文章最后。

原创 SpringBoot数据库换源（多数据源）

baomidou提供的@DS自定义AOP自动换源实现AbstractRoutingDataSource手动换源。

原创 BIO/NIO/Netty网络通信编程

魔数，用来在第一时间判定是否是无效数据包版本号，可以支持协议的升级序列化算法，消息正文到底采用哪种序列化反序列化方式，可以由此扩展，例如：json、protobuf、hessian、jdk指令类型，是登录、注册、单聊、群聊… 跟业务相关请求序号，为了双工通信，提供异步能力正文长度消息正文。