![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
GPT
文章平均质量分 84
vivia_2219
这个作者很懒,什么都没留下…
展开
-
RAG之微调垂域BGE的经验之谈【总结】
1、数据集格式{"query": "小孩做胃镜有哪几种方法","pos": ["儿童做胃镜常用的方法有如下两种:1、有痛胃镜,不在麻醉状态下做胃镜;2、无痛胃镜,在麻醉状态下做胃镜。国内通用的方法,不建议麻醉。因为小孩子麻醉,有很多副反应,包括麻醉药本身的副作用和麻醉后的复苏,都有副反应。不麻醉,即不使用麻醉药,目前通用的方法是抓麻,即把小孩抓住,做胃镜。这种情况虽然恢复快,但也有不好的地方。因为小孩害怕做该检查。原创 2024-07-29 01:03:51 · 639 阅读 · 0 评论 -
大模型中文问答场景下的模型选择
C-MTP综合了标注数据和未标注数据,来自于多种来源,如Wudao语料库、科学文献、XLSUM-Zh、Wiki-Atomic-Edit、AmazonReviews-Zh等,确保了数据的大规模、多样性和质量。架构:BGE-Large-zh模型是基于BERT-like(类BERT)架构,特别是在特殊的[CLS]标记的最后一层隐藏状态被训练来作为文本的嵌入表示。的embedding。采用Distilling step-by-step分步蒸馏可以在较少的训练数据和较小的模型下,训练出性能超越LLM的小模型。原创 2024-07-26 01:02:07 · 571 阅读 · 0 评论 -
知识库大模型的召回模型调查
然后,通过优化目标函数来调整模型参数,使得相似句子的余弦相似度提高,而不相似句子的余弦相似度降低。SimCSE的基本思想是对比学习,对比学习的目标是学习编码器f(下面是目标函数),其中前者为相似的正样本,后者为不相似的负样本,score是相似度度量函数。对应到SimCSE中,x和x+是两个相似的句子,x和x-是不相似的句子。对比学习的目标是学习一个编码器,使得相似的正样本(即相似的句子)在编码后的向量空间中更接近,而不相似的负样本(即不相似的句子)在空间中更远离。它的基本原理是对比学习。原创 2024-07-24 01:36:13 · 336 阅读 · 0 评论 -
大模型的几个要点
TCN:时序卷积网络(Temporal Convolutional Network,TCN)是一种使用卷积操作来处理序列数据的模型,旨在克服 RNN 的一些缺点。即query与query的相似度,而不是query召回answer的相似度。query计算query与title的相似度,设定一个阈值0.9筛选0.9以上的title,再人工打标label,相似1,不相似0。TCN 通过因果卷积和扩张卷积处理序列数据,能够并行计算,捕捉长时间依赖关系,并缓解梯度消失问题,但参数量较大。原创 2024-07-23 01:49:17 · 266 阅读 · 1 评论 -
大模型应用开发教程阅读
GPT 的 Tokenizer:实际上 GPT 的 Tokenizer 采用了 BPE 算法,即将单个字符的 二进制表示,不断提取重复的字符对,进行压缩,最终用一个较为合理大小的词汇表表示 Token 到数字的映射。Prompt 其实是通过提供一个外部的 Context 帮助大模型更好的预测下一个词, 大模型本身有着海量的互联网数据学习过,它可以利用本身学习过的知识之间的权重\联系,更好完成补全提示词后的输出的任务。2 不限制,是带来幻觉的原因,它的回答取决于训练的数据,学到什么回答什么(待求证)原创 2024-07-23 01:47:18 · 887 阅读 · 0 评论