LLM 实战
文章平均质量分 81
明月出天山_
明月出天山,苍茫云海间。长风几万里,吹度玉门关。汉下白登道,胡窥青海湾。由来征战地,不见有人还。
展开
-
【Hugging Face】编写 shell 脚本在 huggingface 镜像站快速下载模型文件
我们使用 Git LFS 和 wget 结合的方法,小文件使用 Git 下载,大文件使用 wget 下载Git 下载的优缺点:优点:相当简单缺点:不支持断点续传直接 wegt 下载比较稳定,但是欠缺优雅我们可以将这两种方法进行结合。原创 2024-05-07 21:38:27 · 551 阅读 · 4 评论 -
使用 AsyncOpenAI 库异步调用 OpenAI API 同时回答多个问题
不使用 async。可以使用openai 库里面的 openai,也可以使用 Python 的 requests。首先定义 async_query_openai 函数,负责处理单个请求,返回单个结果。async_process_queries 接收一个请求列表,返回所有请求的结果列表。导入必要的库,其中 time 模块负责计算最后的时间,不需要的话可以不导入。,等待它完成,然后关闭事件循环。我使用的 system_prompt 如下,因为这个模型太喜欢说英文了。使用 async,代码如下。原创 2024-05-07 09:00:00 · 617 阅读 · 4 评论 -
只需三步,搭建基于知识库的专属ChatGPT
Meta AI 的研究人员引入了一种叫做的方法来完成知识密集型的任务。RAG 会接受输入并检索出一组相关/支撑的文档,并给出文档的来源(例如维基百科)。这些文档作为上下文和输入的原始提示词组合,送给文本生成器得到最终的输出。RAG 让语言模型不用重新训练就能够获取最新的信息,基于检索生成产生可靠的输出。RAG 的应用范围广泛且多样,从改进客户服务聊天机器人、促进详细和个性化的内容推荐,到支持业务环境中的复杂决策流程。原创 2024-02-04 18:34:26 · 1262 阅读 · 0 评论 -
使用 LlamaIndex 部署本地 Mistral-7b 大模型实现 RAG
默认情况下,LlamaIndex 使用 OpenAI 的模型,然而由于 OpenAI 的网站在国内无法访问,故使用本地下载好的模型代替之。原创 2024-01-24 22:25:10 · 1725 阅读 · 3 评论 -
使用 vLLM 部署本地 LLM 指南
我们输入以下命令启动服务器,–model 为本地模型的路径,–served-model-name 是模型在服务器中的别名,这里我们取简称 openchat,其他都是默认值,当然也可以自己设置。在这里我们不演示了,直接将 vLLM 部署为模仿 OpenAI API 协议的服务器,这使得 vLLM 可以用作使用 OpenAI API 的应用程序的直接替代品。当然,你也可以试一试 ChatCompletions 格式的请求,ChatCompletions API 的请求内容如下,两种的格式还是有一些区别的。原创 2024-01-24 09:34:39 · 5031 阅读 · 4 评论