- 博客(9)
- 收藏
- 关注
原创 大模型推理性能优化:vLLM 部署、KV Cache 优化与压测对比
本文围绕大模型推理性能优化展开,介绍如何使用 vLLM 快速部署 Qwen3 模型,并从 KV Cache、GPU 显存利用率、最大上下文长度和 Prefix Caching 等方面进行推理优化。同时结合 Python API 调用和 vLLM Benchmark 工具,对不同并发和配置下的 TTFT、TPOT、ITL 以及吞吐量进行压测对比。通过实际实验建立一套从部署、参数调优到性能测试的完整优化流程,帮助开发者更高效地构建大模型推理服务。
2026-09-11 09:49:02
205
2
原创 国产大模型本地微调实战:Qwen3 小参数模型 LoRA 微调全过程
大模型微调听起来很高大上,但真正动手之后,很多初学者都会遇到一系列问题:模型怎么选?数据集怎么准备?LoRA 到底是什么?显存不够怎么办?target_modules 怎么设置?训练完成后怎么加载?为什么微调之后模型反而“变傻”了?本文以国产大模型 Qwen3 小参数模型为例,从环境搭建、模型下载、数据集制作、LoRA 原理、训练参数配置、完整训练代码、模型保存、推理测试,到常见问题排查,完整走一遍本地大模型 LoRA 微调流程。
2026-09-11 09:32:42
361
3
原创 DeepSeek 涨价了,你换了吗?——技术选型与迁移实战指南
近期 DeepSeek 官方官宣 API 价格大幅上调,涵盖通用对话、代码模型、推理模型全线产品,彻底打破了其“高性价比、平价开源模型首选”的市场标签。大量开发者、中小企业、AI 自动化项目、代码智能补全业务迎来成本激增、架构适配、模型选型的难题。本文将从涨价事件复盘、全网价格横向对比、涨价底层原因、模型替换决策框架、主流替代方案测评、零侵入迁移实战、迁移避坑指南、原位降本策略九个维度全方位拆解,给企业和开发者一套可直接落地的决策与技术落地方案。
2026-09-10 09:49:52
408
3
原创 Codex 实战:用 AI 写运维脚本
在云原生、大规模集群运维场景下,传统手工运维效率低、重复性高、易出错,自动化脚本成为运维工程师的核心生产力工具。以 Codex 为代表的 AI 编程模型,可通过自然语言快速生成标准化、可落地的运维脚本,极大降低运维自动化门槛。本文从基础认知、环境搭建、三大核心运维实战场景、提示词技巧、调试方法及安全最佳实践全方位讲解,手把手教运维人员零基础使用 Codex 实现运维脚本自动化,适配日常生产环境落地。
2026-09-10 09:33:04
419
3
原创 Agent 敢开写权限吗?——AI 自主写代码的安全边界与工程实践
本文围绕「是否给 AI Agent 开放文件写权限」这一现实问题展开,从风险清单、适用场景、权限设计和工程实践四个维度进行系统梳理。文章指出,开放写权限的关键不在于简单的「敢」或「不敢」,而在于「在什么条件下敢」,核心原则是权限最小化、变更全程可审计、出错随时可回滚,并建议从低风险场景起步,逐步建立信任后再扩大授权范围。
2026-09-09 17:13:58
383
2
原创 Codex 安全盲区:代码漏洞生成实测
本文通过一系列实测,系统考察 AI 编程助手 Codex 在生成代码时可能引入的安全漏洞盲区。文章首先介绍研究背景与实验设计,随后逐类分析 SQL 注入、命令注入、路径遍历、不安全反序列化以及硬编码敏感信息等典型漏洞的生成情况,并从训练数据、提示词设计、上下文理解等角度剖析漏洞产生的深层原因,最后给出开发者在日常使用中可落地的安全防护建议,为平衡编码效率与代码安全提供参考。
2026-09-09 17:04:06
345
2
原创 告别 Copilot?Codex 本地化部署指南:从云端到私有化的完整实践
内容从引言到总结,涵盖Copilot局限、Codex本地化部署方案、环境准备、部署步骤、编辑器接入、性能调优、安全加固等。摘要需简洁概括。</think>本文针对企业对代码安全与合规的需求,分析Copilot在数据隐私、成本、定制化上的局限,系统介绍Codex本地化部署方案。涵盖硬件环境准备、部署步骤、编辑器接入、性能调优与安全加固,旨在帮助团队构建私有化AI编程助手,平衡效率与数据管控。
2026-09-08 17:09:47
291
3
原创 Python大模型开发零基础实战:从API调用到简易RAG应用(2026超详细)
而 Python 凭借简洁的语法、海量的 AI 开源库、完善的大模型生态,成为大模型开发、落地、二次开发的绝对主流语言。很多新手觉得大模型开发门槛极高,需要精通算法、深度学习、算力部署,但实际上:普通开发者无需训练大模型,只需基于 Python 调用开源/商用大模型 API,即可快速开发 AI 应用。模型会严格基于我们自定义的知识库回答问题,不会编造外部知识,完美解决大模型幻觉、知识滞后问题,可用于企业文档问答、个人知识库、行业问答机器人等场景。
2026-09-08 17:02:32
377
3
原创 零基础入门Python!最全入门指南+实战案例,小白一看就懂
Python优势、环境搭建、基础语法、实战案例、避坑指南。语言简洁。</think>本文面向零基础小白,介绍Python的极简语法与广泛应用,详细讲解环境搭建步骤、核心基础语法(变量、条件、循环),并给出三个实用实战案例,最后提供避坑指南与学习路线,帮助读者快速入门Python编程。
2026-09-07 16:41:06
461
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅