![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
大模型
Carrie_Lei
这个作者很懒,什么都没留下…
展开
-
大模型-基于vllm部署大模型
VLLM(非常大的语言模型)在中文中通常指的是经过大量文本数据训练的神经网络模型,能够理解和生成类似人类语言的文本。这类模型是许多先进AI系统的核心,比如ChatGPT、GPT-4等。VLLM 可以执行各种任务,如自然语言处理、文本生成、翻译、问答系统等。它们在处理大量数据的情况下表现出色,能够为各种语言应用提供支持。官方网址: https://vllm.ai官方 github 地址:https://github.com/vllm-project/vllm。原创 2024-08-18 18:36:50 · 427 阅读 · 0 评论 -
大模型-部署LLM项目
4. 页面成功访问到显示向量数据库的json网站。8. 修改verba项目中的.env内容中的。,如果使用本地的OLLAMA,也可以同时修改。文件夹,yaml文件在这个文件夹下。来运行docker。可以看到初始化的向量数据库数据,6. 进入项目文件夹,执行命令。的地址从云端到本地地址。意味着当前项目下存在。原创 2024-08-26 18:38:14 · 368 阅读 · 1 评论