NLP
文章平均质量分 89
明月出天山_
明月出天山,苍茫云海间。长风几万里,吹度玉门关。汉下白登道,胡窥青海湾。由来征战地,不见有人还。
展开
-
只需三步,搭建基于知识库的专属ChatGPT
Meta AI 的研究人员引入了一种叫做的方法来完成知识密集型的任务。RAG 会接受输入并检索出一组相关/支撑的文档,并给出文档的来源(例如维基百科)。这些文档作为上下文和输入的原始提示词组合,送给文本生成器得到最终的输出。RAG 让语言模型不用重新训练就能够获取最新的信息,基于检索生成产生可靠的输出。RAG 的应用范围广泛且多样,从改进客户服务聊天机器人、促进详细和个性化的内容推荐,到支持业务环境中的复杂决策流程。原创 2024-02-04 18:34:26 · 1258 阅读 · 0 评论 -
使用 LlamaIndex 部署本地 Mistral-7b 大模型实现 RAG
默认情况下,LlamaIndex 使用 OpenAI 的模型,然而由于 OpenAI 的网站在国内无法访问,故使用本地下载好的模型代替之。原创 2024-01-24 22:25:10 · 1719 阅读 · 3 评论 -
使用 vLLM 部署本地 LLM 指南
我们输入以下命令启动服务器,–model 为本地模型的路径,–served-model-name 是模型在服务器中的别名,这里我们取简称 openchat,其他都是默认值,当然也可以自己设置。在这里我们不演示了,直接将 vLLM 部署为模仿 OpenAI API 协议的服务器,这使得 vLLM 可以用作使用 OpenAI API 的应用程序的直接替代品。当然,你也可以试一试 ChatCompletions 格式的请求,ChatCompletions API 的请求内容如下,两种的格式还是有一些区别的。原创 2024-01-24 09:34:39 · 4993 阅读 · 4 评论