llama3.1 资源消耗情况
Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力解析
70B版本,FP16+16K token需要的资源约为75G;FP16+128K token需要的资源约为110G
1、ollama
ollama工具部署及使用:
https://github.com/ollama/ollama/blob/main/README.md#quickstart
ollama工具支持模型:
开放IP (配置修改教程):
阿里云Linux服务器安装Ollama后,IP无法访问_ollama ip-CSDN博客
第二十六篇-Ollama-监听本地IP与端口_ollama 修改端口-CSDN博客
开源模型地址:
https://github.com/meta-llama/llama-models/blob/main/README.md
2、modelscope
模型文件:
魔搭社区
使用方式:
魔搭社区