LLM
文章平均质量分 62
不当菜鸡的程序媛
你若盛开,清风自来
展开
-
LLM才硬件(显存)需求
参考:直观的一个表:原创 2024-08-20 21:33:13 · 167 阅读 · 0 评论 -
开发 LLM 支持的应用程序:Azure 上的 Llama 2(5/n)
此设置促进了本地运行的 LLM 服务(作为正常应用程序部署的一部分部署的微服务)。事实上,我让我的虚拟机在 LLM 端点上运行了一整夜,这就是我产生的成本 :)无论如何,回到我们的部署,继续在所选虚拟机上部署 LLM。Azure 具有内置机制来提供安全可靠的端点 - 禁止 LLM 提供与自残、性、暴力和仇恨相关类别的答案 - 我强烈建议您在将其部署用于公共用途时部署此受保护的端点。幸运的是,Azure 和 AWS 等云提供商创建了一种机制,可以将 LLM 部署和使用为 PaaS(和 IaaS)服务。原创 2024-08-20 21:31:01 · 1204 阅读 · 0 评论