- 博客(7)
- 收藏
- 关注
RSS订阅原创 模型压缩技术：模型剪枝、量化与蒸馏原理
年来，神经模型在几乎所有领域都取得了成功，包括极端复杂的问题。然而，这些模型体积巨大，有数百万(甚至数十亿)个参数，因此不能部署在边缘设备上。知识蒸馏指的是模型压缩的思想，通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。“软标签”指的是大网络在每一层卷积后输出的feature map。然后，通过尝试复制大网络在每一层的输出(不仅仅是最终的损失)，小网络被训练以学习大网络的准确行为。相比量化，知识蒸馏也存在不可控性，但是知识蒸馏的效果远远优于剪枝。
2025-04-04 14:39:53
1520
原创 10分钟Spring AI 从入门到放弃
Spring AI 是 AI 工程的应用框架，其目标是将 Spring 生态系统设计原则（如可移植性和模块化设计）应用于 AI 领域，并将 POJOs 作为应用程序的构建块推广到 AI 领域。Spring AI 的核心是解决 AI 集成的基本挑战：将企业数据和API与AI 模型连接起来。换句话说，Spring AI 和 可以认为和 python中的langchain是一个 维度的框架，用于 连接 数据 API和AI模型。
2025-03-31 17:03:46
482
原创 约等于0基础的milvus原理及使用说明
Milvus是一个专门用来管理和搜索向量数据的数据库，可以简单的认为是搜索引擎，简单的说向量和原始数据会存在映射关系，通过向量搜索再找到原始数据，而向量可以认为是数组。提高搜索效率 milvus不同的索引类型可以适配不同应用场景，能快速定位到与查询向量最近似的数据点，从而大幅度减少搜索时间,例如对于大规模数据集，使用IVF_FLAT索引可以将搜索范围限定在特定的聚类内，避免全量搜索。优化存储空间 不分索引类型IVF_SQ8，通过量化的方式将浮点数压缩为更小的数据类型，从而有效的减少空间占用。
2025-03-29 00:26:48
1743
原创 langchain使用
LangChain Expression Language（LCEL）是一种声明式语言，可轻松组合不同的调用顺序构成 Chain。LCEL 自创立之初就被设计为能够支持将原型投入生产环境，无需代码更改，从最简单的“提示+LLM”链到最复杂的链（已有用户成功在生产环境中运行包含数百个步骤的 LCEL Chain）。LCEL 的核心特点是能够将多个简单的操作组合成复杂的任务, 例如，可以将文本生成、问答、文本分类等不同的语言模型操作通过 LCEL 表达式组合在一起，实现更高级的功能。
2025-03-26 00:05:37
437
原创 RAG 、Embedding与向量数据库
向量是一种有大小和方向的数学对象。它可以表示为从一个点到另一个点的有向线段。例如，二维空间中的向量可以表示为 (x,y)，表示从原点 (0,0) 到点 (x,y) 的有向线段。以此类推，我可以用一组坐标 (x0,x1,…,xN−1) 表示一个 N 维空间中的向量，N 叫向量的维度。文本向量是N维表示，一般的嵌入式模型，维度一般是1000+，对于openai来说：维度为 1536，是 OpenAI 较为常用的文本嵌入模型，能在多种自然语言处理任务中表现出色，可捕捉文本中较为细致的语义信息。
2025-03-23 22:21:07
1830
原创 AutoGen基本概念与使用实操
智能体Agent 不是模型，严格意义上Agent属于强化学习中的一个技术，可以认为是一个代理。Agent解决的问题是最优规划问题，简单讲是实现价值最大化，2024年前是直接使用大模型，会有一个问题，直接问大模型，大模型返回的结果不一定契合我们的需求，所以需要多次调用大模型来筛选结果，现在我们把问题给到Agent，Agent根据我们的需求和大模型交互，大模型的结果符合我们的要求是 Agent返回AutoGen 是一个功能强大的框架，可简化人工智能应用程序的开发。
2025-03-21 18:14:17
786
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人