![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 65
水的精神
一件事,要么不做,要么做到极致。
展开
-
NLP 在搜索引擎优化上做的工作
自然语言处理(NLP)在搜索引擎优化上的工作主要集中在提升搜索结果的相关性和准确性,以及改善用户的搜索体验。原创 2024-04-06 11:42:57 · 1114 阅读 · 0 评论 -
NLP在搜索召回领域中的应用场景
自然语言处理(NLP)在搜索召回领域中的应用场景非常广泛,它通过理解和分析人类语言,提高了信息检索的准确性和效率。原创 2024-04-06 11:36:24 · 505 阅读 · 0 评论 -
RAG——如何选择文本embedding模型
想要做语义检索,迫切需要embedding模型来做文本的嵌入。也就是转向量。huggingface上那么多text embedding模型,到底应该选择什么模型效果更好呢?有条件的可以自己测试,如果不具备这个能力,可以看看这个排行榜!可以根据自己的场景,自己的资源,自己的语言需求来选择合适的模型,再去做测试,看看是否能够满足。原创 2024-01-07 14:30:21 · 1080 阅读 · 0 评论 -
如何做好chatFile?如何做RGA?
向量语义检索,跟具有普适性,用户的问法可能和文档中的内容描述方式不一样,此时语义检索可以发挥好的作用。而BM25在用户输出的内容和文档强相关的时候,往往能获取到更好的效果,例如用户问题中的诸多关键词,都在原文中出现了,往往召回效果会比向量语义检索更好。很短的词语在向量模型中,会丢失语义,因为在embedding的时候,就是用段落做的embedding。暂时认为回答多的正确。然后把问题,和回答不对的结果,回答正确的结果,做比对。目前在问题生成上,存在较多的问题,经常发现,模型自己给的问题,无法正确回答!原创 2023-12-26 20:09:25 · 999 阅读 · 0 评论 -
为什么要用向量检索
之前写过一篇文章,是我个人到目前阶段的认知,所做的判断。我个人是做万亿级数据的搜索优化工作的。一直在关注任何和搜索相关的内容。这篇文章再来讲讲为什么要使用向量搜索。在阅读这篇文章之前呢,最好已经知道向量检索是怎么回事。如果还不知道,可以学习这篇文章。原创 2023-12-10 13:11:54 · 1093 阅读 · 0 评论 -
模型能力赋能搜索——零样本分类(Zero-Shot Classification)在搜索意图识别上的探索
从测试用例来看,Zero-Shot Classification分类效果还是很不错的。可以使用该模型,进行问题意图识别的。因为搜索框,对话框,被传进来的内容类型是未知的。但是不同类型的问题,去到不同的分支上,Zero-Sh效果一定是最好的。就像上边的测试案例。通过模型,可以推测出来,输入框的内容到底是什么意图,是总结任务?还是摘要任务?还是问答任务?在模型中,我们只需要去定义已知的和能够处理的分支即可。轻松利用模型的能力,来做意图识别。当然这是一个初步的探索。想要获得更好的效果,还会要进行模型调优的。原创 2023-12-09 12:33:16 · 1062 阅读 · 0 评论