![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 88
学习NLP笔记
sawyes
这个作者很懒,什么都没留下…
展开
-
(五)Langchain PGVector 补充智能客服匹配式问答
本项目实现原理如下图所示,过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的top k个 -> 匹配出的文本作为上下文和问题一起添加到prompt中 -> 提交给LLM生成回答。先让用户的问题,匹配问答中的问题(多问一答),相同的问题意图需要泛化,如果问题相识度满足一定的阈值,则返回问题对应的答案,如果不满足相关度阈值,则把问题提交给文档问答库(适合有一定的业务文档积累场景)作为兜底,同样的也需要满足一定的相关度top k。原创 2023-06-05 02:04:26 · 3779 阅读 · 2 评论 -
(四)oobabooga加载Vicuna7b,vicuna13b,chatglm模型
Vicuna 的代码基于 Stanford Alpaca ,并额外支持多轮对话。备用:不用上述方法,其实可以安装几个依赖包解决,还没验证是不是这样可以解决。, 这一步回到最后让你选择下载模型,我们关掉这个窗口,手动下载,往下看。可以在启动的webui中切换不同模型,命令行效果如下图。GPTQ这种一般直接加载就可以使用了,不像前面那么麻烦。下载运行如下图,重点安装C++ CMake工具。不用输入域名就会自动下载模型了,保存在。方法如上,下载模型就可以直接在目录。耐心等待文件下载,然后关闭窗口,原创 2023-05-10 01:25:26 · 2095 阅读 · 0 评论 -
(三)ChatGLM-6B 的 DeepSpeed/P-Tuning v2微调
OK, 到这里发现以前的方法是可以继续使用的,只能说是暂时环境跟不上,单机跑不了,或者要研究一下他的参数了,后续找到更大的机器看看deepspeed并行调参效果。这个好像是ninja版本问题,查看版本命令不是这个,试过升级和降级都没用,所以只能手动干源码了。等待模型文件下载完毕后,下载其他的配置文件,把大的模型文件移动进去。如果看到这里你知道怎么搞,或者我说错了的,欢迎留言一起探讨下。相对上一篇文章(04-09),官方更新了文件,也增加了。,准重新下载模型文件(国外,速度慢没办法)venv环境准备开始。原创 2023-04-20 22:23:37 · 3768 阅读 · 4 评论 -
(二)ChatGLM-6B模型部署以及ptuning微调详细教程
ChatGLM-6B模型训练,ptuning微调,大语言模型,LLM原创 2023-04-09 04:19:28 · 25751 阅读 · 52 评论 -
(一) 大模型基础笔记
注:部分笔记来自视频评论。原创 2023-04-07 09:25:14 · 542 阅读 · 0 评论