weixin_58091360的博客

原创 使用RAG生成文章

我使用的是复合retriever，主要是两个不同的。第一个很简单，在上面我们已经将数据向量化之后，直接计算向量间的相似值。第二个使用的是BM25，简单来说是tfidf的升级版。第一个retriever有时并不能直接返回包含关键词的资料，正好bm25可以弥补。数据分割是将文案分割为长度事宜的长度，既保证不丢失太多信息，也适合输入大模型。数据向量化则是用embedding model将分割后的文本向量化，方便搜索。他的任务是对上述简单retriever取回的资料再排序，来决定最终上传给模型的资料。