uncle_ll的博客

RAG技术：低成本解决大模型幻觉与知识滞后问题 检索增强生成（RAG）技术通过结合语义检索与大模型生成，有效解决原生大模型的幻觉、知识滞后和领域适配差三大痛点。相比模型微调，RAG无需训练、支持实时更新，能快速整合外部知识库。其核心流程包括文档加载、文本分割、向量化存储、语义检索和增强生成。本文详解了RAG原理、多格式文档加载方法（如PDF、CSV、HTML）以及两种主流文本分割策略（递归字符分割和语义分割），并提供了可落地的代码示例，帮助开发者快速构建高精度问答系统。

本文介绍了基于OpenResty+Lua的大模型推理服务流量调度方案，解决GPU资源不足时的请求自动降级问题。相比原生Nginx方案，该方案具有毫秒级精准并发统计、零延迟切换、动态路由等优势。核心实现包括：1）封装阿里云Qwen3 API为统一接口；2）通过OpenResty共享内存实现原子级并发计数；3）动态路由逻辑在请求接入时即时判断，超并发请求自动切换至备用服务。该方案已在生产环境落地，支持10个并发本地推理，超额请求无缝降级至云服务，全程业务无感知且不丢请求，为大模型服务提供了轻量级高可用的流量治理

本文全面介绍OpenAI API开发的核心要点，涵盖Token计费机制、API参数调优、两种主流调用方式及高阶开发技巧。首先解析Token作为计费单元和文本处理最小单位的重要性，提供实用换算公式和统计方法。其次详解六大核心参数的作用与调优建议，包括响应长度控制、输出随机性调节等。文章对比REST API原生调用和官方SDK调用两种方式，提供完整可运行代码示例。最后分享JSON模式、流式响应等进阶技巧，帮助开发者优化成本并提升应用实用性。新手可快速入门，老手能查漏补缺，全面掌握OpenAI开发基础。