- 博客(10)
- 收藏
- 关注
RSS订阅原创 RAG之文本分块策略
rag系统在构建向量库时，调用embedding模型之前需要考虑如何将原始文本做分块，好的分块策略可以帮助我们优化从向量库被召回的内容的准确性。
2024-06-11 19:21:00
203
原创 RAG之milvus向量库使用
milvus相对于chroma来说更强大，chroma适用于构建一个小的demo，而milvus可以用于开发更大规模的系统，同时可以使用图形化管理工具 Attu来管理我们的milvus向量库，让日常对向量库的查看、管理更为方便。里对比了chroma、milvus等向量库的特性，这里详解整理一下milvus向量库的使用方法。关于collection、schema、field的概念、区别。这里是milvus的教程。这里是Attu工具代码。
2024-05-09 14:35:03
443
原创 LLM超参数temperature，top-p使用
一般来说，prompt 越长，描述得越清楚，模型生成的输出质量就越好，置信度越高，这时可以适当调高 temperature 的值；Top-p 通常设置为较高的值（如 0.75），目的是限制可能被采样的低概率 token 的长尾。从上面的原理可以看到，temperature、top-p等参数用于控制生成文本的随机性，值越大随机性越大，意味着多样性和创造性，但可能产生胡言乱语。大模型选择输出token的时候，会有一个采样策略，用于选择输出哪些token，其中两种主要的采样方法就是top-k和top-p。
2024-05-09 11:13:12
876
原创 AI-agent (1)：设计模式和常用框架
AI-agent也称人工智能代理，是大模型技术驱动下的一种能够感知环境、进行决策和执行动作的智能实体。我们可以将其简单理解为：在这里LLM作为系统的大脑，为agent提供决策分析能力。有了agent系统，我们不再局限于以api接口的形式调用大模型，而是可以基于大模型搭建一个完整的应用系统，实现更强大的能力。
2024-04-17 20:46:49
1238
原创 Text-to-sql学习大纲
NL2SQL的任务是将用户的自然语言问句转化为可以执行的SQL语句，是实现人类和数据库无缝交互和提高数据库分析效率的核心技术。本篇仅讨论基于大语言模型的text-to-sql技术方案。
2024-04-08 11:02:01
948
原创 RAG之大模型常用向量数据库对比
通过Faiss，企业可以构建高效的语义搜索和推荐系统、广告技术平台等应用，实现数据的精准匹配和价值最大化。它特别适用于大规模内容检索、图像和视频搜索等场景，如智能安防系统、图像和视频搜索引擎等。通过Milvus，企业可以轻松应对不断增长的数据挑战，实现快速、准确的内容检索和分析。通过Chroma，用户可以快速构建语义搜索原型、研究或教学项目，并实现准确的数据匹配和检索。随着数据和查询规模的增加，Milvus 还提供了集群分片的解决方案，支持读写分离、水平扩展、动态扩容等功能，实现了对于超大数据规模的支持。
2024-04-08 10:15:49
2085
原创 RAG之query改写优化
RAG系统涉及到对用户query做检索召回，好的query更有利于召回正确的结果。所以query analysis要做的就是对输入query做一个改写，让其语义更完善或格式更清晰。基于query改写好的文档如下，然后我们可以分别基于query和文档做检索。
2024-04-08 10:09:54
1172
原创 大模型学习 -- CLIP
这样做的好处是减小了sequence的长度，也就减少了计算量，训练速度更快；CLIP的双塔结构分别提取图像和文本的全局特征做对比学习，缺少局部信息的交互，FILIP增加了image tokens和text tokens的细粒度交互。最后，为了减少分布上的gap(训练mask测试一版不mask)，FLIP会在最后增加少量的unmasking训练，可以进一步提升模型的性能。一种简单高效的CLIP加速训练方法，只需mask掉部分图像，就可以将CLIP的训练过程加速2~3倍，而且能实现更好的性能。
2023-06-02 15:52:38
6226
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人