- 博客(17)
- 收藏
- 关注
RSS订阅原创 llamafactory微调（二）导出模型如何用ollama进行验证
执行模型转换：python convert_hf_to_gguf.py /root/ai/export01 export01为llamafactory模型导出路径；构建ollama模型：ollama create 模型名称 -f ./Modelfile。执行pip install --editable .执行模型：ollama run 模型名称。构建Modelfile文件。Modelfile内容。
2025-06-05 17:06:31
114
原创 LLaMA-Factory大模型微调（一）
并在解压后目录执行pip install -e . 完成安装，在安装过程中，会出现非常多的依赖未安装，可以根据提示，执行pip install进行安装，安装完成通过 llamafactory-cli version进行校验。下载LLaMA-Factory-main.zip 并进行解压；完成后执行llamafactory-cli webui命令。
2025-06-04 21:46:57
348
原创 快速搭建Qwen2.5 AI服务指南
对于vllm，很多初学者会使用ollama进行搭建，ollama在学习环境时可以进行使用，在商用场景下无法满足需求，高版本介绍可以调整线程数，但实际压测无法提高，我在L200双卡的情况下vllm并发可以跑到100左右。很多网上文章介绍使用以下地址，该地址非vllm serve启动，而是通过Python来启动api serve。启动vllm：vllm serve Qwen/Qwen2.5-1.5B-Instruct。在启动时，可能会报内存分配不足，可以设置环境变量配置使用gpu的数量，进行解决。
2025-06-04 21:36:12
140
原创 日常运维故障排查(四)-请求出现500错误
在整个排查过程中，最开始监听NGINX链路请求，发现整个链路未进入访问，对排查问题思路走入了黑洞，开始对服务器进行检测，发现服务器，NGINX所在硬盘满，导致该问题发生。
2025-02-28 09:35:59
450
原创 2、spring源码分析-三级缓存
大家对spring源码有过研究的同学，都知道spring的源码的核心是AbstractApplicationContext得refresh方法，该方法是整个spring容器的生命周期核心主线，当所有类的bean定义处理完成后，会调用AbstractApplicationContext#finishBeanFactoryInitialization()方法进行bean对象实例初始化。在获取bean中，会调用doGetBean方法进行获取，在这个方法中，会根据bean的作用域进行分别处理；
2025-01-17 14:51:46
524
原创 日常运维故障排查(三)-系统卡排查思路
在SaaS平台构建中，功能上线后一旦用户量上来，就会导致系统比较卡，但系统比较卡，会存在各种各样的原因，曾经在一个省级财务平台中，日常使用并发在200-300，但在业务高峰时期，并发会达到3000-5000，到这个时候，用户普遍反应系统无法使用，比较卡，本文以这个案例把常见的问题给大家进行分享。
2025-01-15 13:21:32
1790
原创 1、spring源码分析-环境准备
spring作为最流行的企业级应用开发框架，笔者从Java入门到工作十几年，一直和spring打交道，随着工作的不断深入，从最初的业务代码开发到框架构建，对spring源码的阅读需求越来越刚需，所以将spring源码的研究过程进行记录。
2025-01-14 14:42:50
331
原创 日常运维故障排查（二）
top 是 linux系统中的一个实时性能监测命令，相当于 Windows 系统中的任务管理器。它能动态地显示系统中各个进程的资源占用状况，包括 CPU 使用率、内存使用量等信息，可以综合的查看服务器运行情况；同时也可以通过命令统计应用程序创建的文件描述符的数量，我们曾经有一个导出pdf大文件的需求，通过生成多个pdf小文件，在合成一个大文件，导致打开文件太多，流一直未关闭，导致报错；在Linux中，句柄通常表示为文件描述符（File Descriptor），可以通过系统调用访问。系统平均负载如何理解。
2025-01-06 19:53:32
454
原创 日常运维故障排查（一）
在使用systemd程序的Linux系统中，/tmp 目录下的文件会自动清理。下一次执行时间：Wed 2024-09-11 09:15:24 CST，表示下一次 systemd-tmpfiles-clean 服务将会在 2024-09-11 09:15:24 CST（即 18 小时后）运行。记录一次日常运维中的故障，2022年，构建一个市级报表平台，用于年度大规模报表填报，在这个报表系统上线过程，从报表的填报、报表汇总、报表校验所有功能经过多次验证测试，开始启动报表平台上线。
2025-01-02 20:15:25
610
原创 （二）docker-compose 常用命令
index:2 ：当服务内有多个容器时，需要指定第几个，默认是第一个 Eg：docker-compose exec --index=2 web sh。（可选）serviceName：表示删除已停止某一个service（可以用docker-compose up重新构建service）docker-compose rm -f [serviceName]：删除已停止的所有service。* docker-compose logs [serviceName]：查看服务内所有容器日志输出，
2022-11-29 14:55:37
804
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人