- 博客(4)
- 收藏
- 关注
RSS订阅原创 AI Agent跑4B/8B小模型场景下上下文中工具定义的优化（RAG DEFER TOOL）
在AI Agent运行4B/8B小模型时，工具定义（Tool Defs）占用了大量上下文，成为性能瓶颈。其固定、冗长的元数据每轮必传，显著增加首token延迟（TTFT），压缩可用上下文空间，甚至导致历史记忆丢失。实测显示，94个工具可占用17,600 token，使Claude上下文缩水50%以上。优化路径包括：最小化工具集、压缩Schema描述、按需加载工具、引入RAG defer tool机制——通过延迟加载非必要工具，有效降低上下文开销，提升本地小模型推理效率与选工具准确率。
2026-10-21 22:50:21
165
原创 大模型学习知识的四种方式：全量训练、增量训练（微调）、外挂知识库（RAG）、使用时投喂
全量训练、增量微调、RAG 外挂知识库、使用时投喂 —— 大模型学知识的四条路，成本差百倍，小团队该怎么选？
2026-10-16 22:10:39
380
原创 开源软件使用的风险和应对方法
随着软件系统研发速度的日益敏捷，世界上出现了大量可复用的开源软件。对于个人来说，使用开源软件构建一个非商业的软件系统是没有太多限制的，但对于一个企业或公司来说，软件系统是对外售卖或者对外提供服务的，是具有商业行为的，在这种情况下不了解开源软件的使用要求，就贸然使用会给企业带来巨大的风险。笔者从事开源软件使用合规工作已经第3个年头了，今天就来总结下企业在使用开源软件时存在的风险和问题，以及如何解决或规避这些问题。（注：后续文章中提到的软件、软件系统和产品都是指可对外售卖的软件产品，后文不再对这三个名词作详
2021-05-30 18:12:23
9061
原创 我所理解的微服务
对微服务的基本理解依然SOA微服务水下的冰山微服务系统底座令人困惑的几个问题微服务的底座是不是必须的是不是所有软件都能做微服务什么样的软件做成微服务参考材料对微服务的基本理解顾名思义，微服务要从两个方面来理解，一个是“微”，一个是“服务”。 体型小到一定程度才能叫“微”，这个程度是什么呢？一个身高1米6，体重90斤的MM，我们说她苗条。微服务也一样，根据亚马逊CEO Bezos给出
2016-07-03 23:01:53
4242
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人