- 博客(109)
- 收藏
- 关注
RSS订阅原创 尝试使用gocryptfs实现大模型加密部署
最近公司需要把大模型部署到三方公司服务器，当然不能让三方公司搞到模型的源文件。由于用transformers框架加载模型，输入参数直接就是模型的目录，所以传统的文件加密有点难搞，所以尝试使用gocryptfs目录加密，过程很曲折，结果也一般，此文不会作为最终的加密部署方案，仅仅记录下研究历程
2025-06-04 22:02:38
258
原创 SkyWalking高频采集泄漏线程导致CPU满载排查思路
在排查Java线上测试服CPU满载问题时，发现SkyWalking-agent的线程采集任务导致CPU过载。通过使用arthas火焰图和JProfiler分析，定位到线程泄漏的原因是ThreadPoolExecutor未正确关闭，导致大量线程无法回收。进一步分析发现，线程池内部的工作线程与线程池实例之间存在循环强引用，使得GC无法回收线程池实例。最终建议使用动态全局线程池，并确保正确关闭线程池，以避免类似问题。
2025-05-23 17:22:36
1003
原创 旧版本NotionNext图片失效最小改动解决思路
好久没写博客了，最近在notion写博客的时候发现用notionNext同步到个人网站时，图片无法预览。猜测是notion加了防盗链措施，去notionNext官方github上寻找解决方案，需要升级到4.8.3就可以解决。但我本地的notionNext相对4.8.3太过陈旧，贸然和过来需要解决许多冲突，并且最不能接受的是gitbook主题风格大改。所以本文提供最小升级方案,并且有解决思路明细，希望对你有帮助。
2025-05-02 19:30:58
428
原创 部署Kimi-VL-A3B-Instruct视频推理
最近国内AI公司月之暗面推出了Kimi-VL开源视觉模型。模型参数16.4B，但是推理时候激活参数2.8B。看了huggingface主页的Full comparison，在多项Benchmark的时候都展示出了不俗的实力。由于业务中使用了qwen-vl-2.5-7B，所以测试下Kimi-VL-A3B-Instruct是否在更小的部署资源中拥有更好的表现。
2025-04-21 18:01:33
601
2
原创 Knife4j在Gateway下的URI优化以及热刷新
最近在整理之前的笔记，逐渐梳理成文章输出到博客网站。之前在做Gateway集成knife4j的时候。发现uri的地址缺少了项目路径，也就是baseURI，本篇文章就是在处理这个问题。还有gateway一旦启动会固化服务列表，加了一个小改动动态刷新服务列表，这样不用每次在最后重启gateway。
2024-12-23 23:22:50
401
原创 地瓜RDK X5上手ollama大模型测试
没啥难度BPU到底是啥，算力到底是啥，不清楚这些定义在linux服务器上部署大模型的时候可以直接调用to_cuda，直接在gpu加载模型，看了下文档，BPU好像更麻烦一点。
2024-12-06 17:33:55
623
1
原创 多模态视频大模型Aria在Docker部署
闲逛HuggingFace的时候发现一个25.3B的多模态大模型，支持图片和视频。刚好我有H20的GPU所以部署来看看效果，因为我的宿主机是cuda-12.1所以为了防止环境污染采用docker部署，通过一系列的披荆斩棘比如Segmentation fault (core dumped)异常，最终成功运行在单卡h20服务器上，python3.10，cuda12.4，ubuntu20.04,程序在推理图片的时候占用50g显存，推理5s视频20fps的时候占用60g左右显存。
2024-12-05 15:50:14
1037
原创 开发Maven插件：实现打包后上传tos云服务
因为bucket是公共读，所以直接发版完成需要删除文件bucket应该做权限认证访问，我偷懒没做，不要使用业务bucket问题不大如果协同开发，plugin的插件仓库不配置无法拉取。
2024-11-28 10:09:42
932
2
原创 Mac平台M1PRO芯片MiniCPM-V-2.6网页部署跑通
解决flash_attn强制依赖问题解决bfloat16在mps无法使用问题看系统占用是没走mps，添加的环境变量也可以看出Sampling瞎回答，Beam Search回答很惊喜Beam Search处理视频4秒，在m1pro下，当前代码中需要230s左右ollama部署还在研究中…
2024-08-10 02:43:31
1757
7
原创 LAVIS在Mac,M1PRO芯片下的安装实战
其实效果一般，可能我用的float16最主要就是安装decode,decode的cmake有点麻烦最后执行的时候，下载模型要卡很久，这里看网速就知道其实正在下载。
2024-08-06 15:12:32
766
原创 Iphone Mirroring圆了我AI打DNF手游的梦
最近痴迷于打地下城手游，太浪费时间了，本着编程解放生产力的思想，开始想着能不能用程序来打地下城，就是开外挂！当然任何形式的开外挂都是不倡导的，这里只是探寻技术方案可行性，输出的成品并不能直接使用！为啥要等Iphone Mirroring出来完成这件事呢，因为我的设备是Iphone+Mac，虽然Mac可以通过PlayCover安装破解IPA，但是不支持微信登陆，现在有了Iphone Mirroring一切问题迎刃而解。
2024-07-25 23:53:30
988
2
原创 天池大赛Higress插件官方demo详细部署+调试
⚙ 使用Higress AI网关优化AI调用成本。就是基于向量召回相似问题的缓存，降低LLM API调用成本。就是开发一个网关插件做QA缓存嘛。前文已经成功复现了hello-world插件，这次结合官方提供的AI-Cache插件自己动手改改，再写点注释放到天池大赛去跑跑分，环境搭建起来确实有很多要注意的地方，所以记录下来。higress管理页面配置创建服务来源首先创建官方文档中的DNS类型的服务，域名是 dashscope.aliyuncs.com，端口是443然后创建一个redis固定地址服务来
2024-06-28 16:20:25
938
原创 Java程序员学习Go开发Higress的WASM插件
tinygo@0.32+go@1.19无法在macos arm架构下打包。升级go@1.21再次打包提示unsafe.SliceData requires go1.20 or later。后放弃macos+arm，采用ubuntu+amd64打包，ubuntu打包也必须使用tinygo@0.28.1。0.32.0在ubuntu仍然提示unsupported GOOS/GOARCH pair wasip1/wasm。
2024-06-26 12:57:55
1176
原创 (Java面试题分享)万里长征-03-搜狐
顺序写可以最大的利用磁盘的带宽零拷贝允许磁盘直接到网络缓冲区，不用经过多次copy，内核不用多次切换批量处理机制B+树，主要就是去看叶子节点和非叶子节点的特性叶子节点才有值，非叶子节点只是做导航用的为了满足范围查询，有个next相邻指针的概念查询路径稳定，不会有大波动BIO适用于连接数目较小且固定的场景，编程模型简单直观。NIO适用于连接数目多且连接较短的场景，能够通过单线程处理多连接，但编程复杂度较高。AIO。
2024-05-25 10:23:29
887
原创 Prometheus+Grafana多方位监控
最近发现火山引擎有托管的Prometheus,可是当前是邀测阶段。并且发现火山云的ECS是自带开机自启的exporter的。刚好需要搭建一套服务器监控，所以研究了一套Prometheus监控，包含linux主机监控+nginx监控+es监控+rabbitMQ监控+redis监控+Java程序监控。
2024-04-29 11:07:10
2155
3
原创 Nginx配置备忘录
nginx配置文件分开存放80和443配置，静态文件配置basic密码访问安全隔离，ip防护，禁止访问特定路径REALIP获取等欢迎访问：https://bothsavage.github.io。
2024-04-25 00:40:47
379
2
原创 (Java面试题分享)万里长征-02-跟谁学
gpt又给我玩假大空AC在高并发的保证,又要可用,又要一致，当然我们追求最终一致相同实例支撑的接口能缓存就要缓存分布式锁嘛，这个都说烂了app也要做限流，在app做令牌桶限流确实是一个很好的方案，也可以当作成一个通用方案，还能防止app的死循环请求bug详细说明等我再把极海的视频梳理为文章差不多但是说的比较宽泛就是RT要继续维持不要增高,分析热点请求加缓存等还有就是要减少io，其中mysql的优化是io减少的重要方式。
2024-04-09 01:10:54
829
原创 (Java面试题分享)万里长征-01-贝壳
dubbo的传输协议和序列化协议就对RPC方式更快。http和https的协议可以完美的调用已有的服务，比如python服务，只要你有web端点我就可以调用。zookeeper是CP的，以为着适合一致性要求更高的服务。cloud可供选择嘛，AP和CP都有。刚开的项目架构合理，需要一致性强那么就用dubbo。老项目改造用springCloud没有那么麻烦令牌桶算法能够更好地处理突发流量，因为当突发流量来临时，只要桶中有足够的令牌，就可以直接发送数据，不会出现丢包的情况；
2024-04-07 15:00:00
1073
1
原创 Java程序CPU异常监控bash脚本
arthas无法使用sleep命令dump文件很难分析cpu占用，主要靠火焰图,top,dashboard这里是瞬间cpu占用,60秒一次一直扫。
2024-04-05 20:21:33
363
原创 mac体验ollama本地大模型
llama2效果不错，starcoder2不知所云m1pro+32g环境下，4b模型在本地运行速度还可以，15b运行起来就特别吃力。
2024-03-26 13:51:43
2732
1
原创 Java部署脚本&重启备份检查&配置环境
微服务jar包越来越多,每次手动上线的时候都要运行一大堆命令,并且每个人备份的jar包名称目录都不一样。故写了一个脚本规定死流程,并且把脚本配置到环境变量做自动补全
2024-01-24 15:19:47
1047
原创 解决SkyWalking在gateway组件中logback日志链路丢失
一年半以前，公司就从单体应用逐步迁移到微服务管理。奈何业务绑定太深，一直在两边混合开发。由于迁移到微服务的进程完成了一大半了，之前在单体项目中打的链路追踪就不太好用了。随即想到了SkyWalking，随即发现了一个大坑，那就是在gateway组件中logback日志会丢失TraceId，网上搜了一圈都没有解决问题，我又跑到SkyWalking的issue中搜了一大圈，发现大佬以下回答，还是得自己想办法。
2024-01-21 02:23:21
3998
4
原创 Notion文章自动同步
之前一直使用GitPage+typora+hexo来做文章分享管理，奈何真的麻烦坚持不下去了。Notion是我一直在使用的笔记软件，为了更好的使用Notion我还去看了许多文章。现在Notion已经是我生活的一部分了
2024-01-19 14:54:49
1686
1
原创 Hexo结合Stun静态博客搭建从入门到入土
摘要安装npm，安装hexo相关依赖，安装主题stun修改hexo配置，修改stun配置，部署到github，gitee实现静态访问给博客加上全局搜索，访问量统计hexo博客编写模板 tips: 以下{$xxx}均为用户自定义搭建环境创建仓库1.github仓库命名为：{$你的ID}.github.io2.gitee仓库命名为：{$你的ID}仓库名大小写一致，访问路径也是环境安装1.安装npmhttps://nodejs.org/en/download/
2020-12-19 21:58:54
1102
1
原创 工具-FastDFS分布式存储服务器-linux安装（99.8.2）
文章目录1.环境2.安装3.测试关于作者1.环境版本>>lsb_release -aNo LSB modules are available.Distributor ID: UbuntuDescription: Ubuntu 18.04 LTSRelease: 18.04Codename: bionic安装gcc等sudo apt install gccsud...
2019-09-20 11:36:34
242
原创 工具-FastDFS分布式存储服务器-介绍（99.8.1）
文章目录1.介绍2.服务端两个角色3.上传和下载上传下载4.特点关于作者1.介绍FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker ...
2019-09-20 11:09:26
206
网站开发学习Python实现-Django中使用的工具-celery(6.4.1）
文章目录1.问题2.机制3.如何在django中使用关于作者1.问题我们在做网站后端程序开发时，会碰到这样的需求：用户需要在我们的网站填写注册信息，我们发给用户一封注册激活邮件到用户邮箱，如果由于各种原因，这封邮件发送所需时间较长，那么客户端将会等待很久，造成不好的用户体验.Celery是一个功能完备即插即用的任务队列。它使得我们不需要考虑复杂的问题，使用非常简单。celery看起来似乎很庞...
2019-09-18 13:36:44
220
原创 工具-celery-介绍-安装-使用（99.7.1）
文章目录1.问题2.机制3.使用4.常见使用关于作者1.问题我们在做网站后端程序开发时，会碰到这样的需求：用户需要在我们的网站填写注册信息，我们发给用户一封注册激活邮件到用户邮箱，如果由于各种原因，这封邮件发送所需时间较长，那么客户端将会等待很久，造成不好的用户体验.Celery是一个功能完备即插即用的任务队列。它使得我们不需要考虑复杂的问题，使用非常简单。celery看起来似乎很庞大，本章...
2019-09-18 13:01:27
258
原创 网站开发学习Python实现-Django的models学习-生鲜项目(6.3.2）
文章目录1.说明2.模型类的设计3.代码的具体实现4.详情地址关于作者1.说明models是django的很重要的部分，所以深入研究。本文章的所研究项目为黑马教育python课程中的项目实战-天天生鲜项目这里就简单的描述下，会把研究的代码放在github，多研究几个来形成自己的知识体系2.模型类的设计3.代码的具体实现文件夹中只有代码的models部分该项目中一共有4个大类：c...
2019-09-17 21:01:01
195
原创 Python高级语法-贯彻回顾-元类（4.99.1）
文章目录1.为什么要掌握元类2.正文关于作者1.为什么要掌握元类在django中编写models的时候遇到了元类的相关操作并且在mini-web框架编写的时候也遇到了相关的问题意识到深入理解元类非常的重要所以补票重学学习且引用来自博客：https://www.cnblogs.com/intimacy/p/8119449.html2.正文python中一切都是对象，类也是对象那么意味...
2019-09-17 10:51:30
223
原创 Linux相关-回顾-文件和目录(98.1.1）
文章目录1.linux下的文件系统2.用户目录3.Linux 主要目录速查表关于作者1.linux下的文件系统在 Linux 下，我们是看不到这些驱动器盘符，我们看到的是文件夹（目录）：Ubuntu 没有盘符这个概念，只有一个根目录 /，所有文件都在它下面2.用户目录位于 /home/user，称之为用户工作目录或家目录，表示方式：/home/user~在阿里云的centos...
2019-09-16 13:28:43
291
原创 网站开发学习Python实现-Django项目部署-同步之前写的博客(6.2.2）
文章目录1.说明2.思路3.代码关于作者1.说明之前写的博客都在csdn和博客园中要将博客同步到自己的博客网站中因为都是使用markdown格式书写的，所以直接爬取上传就完事2.思路分析了下博客园，发现可行。先登录进入自己的博客主页，可以看到有下一页的标志，每一页包含若干个博客详情，博客详情中包含edit页（编辑页面）和正常页面（其他用户访问的），要获取的就是eidt页面的博客名字，博...
2019-09-16 13:08:44
166
原创 网站开发学习Python实现-Django项目部署-介绍(6.2.1）
文章目录1.第一步：找源码2.第二步：在windows中更改代码2.第三步：同步到linux中3.第三步：部署4.第四步：运行关于作者1.第一步：找源码从github上找一个django编写的个人博客izone链接：https://github.com/Hopetree/izone2.第二步：在windows中更改代码直接使用git同步到pycharm中在django的setting中...
2019-09-16 12:52:34
335
原创 个人博客搭建Python实现-尝试-遇到的问题（10.1.1）
文章目录前提1.Git相关2.环境相关3.nginx相关4.linux相关关于作者前提自己搭建了一个简单的flask微信公众号在github上找到一个django搭建的博客网站有一个阿里云的服务器有一个已经实名认证的域名需求：同时运行两个程序，并使用同一个域名来关联，以下都是自己的理解，很多有纰漏1.Git相关在githhub上的公有仓库上传私人文件（配置相关）不方便，gite...
2019-09-03 21:46:39
201
原创 工具-Redis-django存储session（99.6.4）
文章目录1.说明安装修改设置2.测试关于作者1.说明之前django的session默认是存在的数据库里面的，我们也可以把session存储在redis里面安装pip install django-redis-sessions==0.5.6修改设置修改settings文件，增加如下项SESSION_ENGINE = 'redis_sessions.session'SESSION_...
2019-08-31 15:57:11
139
原创 工具-Redis-与Python一起使用（99.6.3）
文章目录1.安装2.使用以下为对应的方法3.使用string为例子关于作者1.安装pip install redis2.使用pip install redisfrom redis import *sr = StrictRedis(host='localhost', port=6379, db=0)#简写都是默认sr=StrictRedis()以下为对应的方法string...
2019-08-31 15:52:08
110
原创 工具-Redis-使用（99.6.2）
文章目录1.启动2.数据结构3.String命令4.其他常用命令5.Hash命令6.List命令7.Set命令8.Zset命令关于作者1.启动redis-server交互redis-cli2.数据结构string类型字符串类型是Redis中最为基础的数据存储类型，它在Redis中是二进制安全的，这便意味着该类型可以接受任何格式的数据，如JPEG图像数据或Json对象描述信息等...
2019-08-31 15:20:26
286
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人