Llama 3.1 开源AI大模型使用

一、Llama 3.1介绍

2024年7月24日，Meta宣布推出迄今为止最强大的开源模型Llama 3.1 405B，Llama 3.1的405B支持上下文长度为128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。405B新一代大模型所需要的算力成本也是巨大的，一般的中小型企业和个人需要慎重评估一下成本与产出是否值得应用。好在作为新版本发布的一部分，官方也同时推出全新升级的Llama 3.1 70B和8B模型版本。接下来我们就介绍环境安装和使用方法。

二、安装

1、Llama 3.1下载官网地址: ollama.com/

2、进入官网选择我们需要使用的那个环境进行安装，分别有Windows、Linux、和macOS。我们根据自己的系统选择对应的安装包进行下载安装

3、安装完成后我们通过命令下载对应的模型

Model	Parameters	Size	Download
Llama 3	8B	4.7GB	ollama run llama3
Llama 3	70B	40GB	ollama run llama3:70b
Mistral	7B	4.1GB	ollama run mistral
Dolphin Phi	2.7B	1.6GB	ollama run dolphin-phi
Phi-2	2.7B	1.7GB	ollama run phi
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
Llama 2 13B	13B	7.3GB	ollama run llama2:13b
Llama 2 70B	70B	39GB	ollama run llama2:70b
Orca Mini	3B	1.9GB	ollama run orca-mini
LLaVA	7B	4.5GB	ollama run llava
Gemma	2B	1.4GB	ollama run gemma:2b
Gemma	7B	4.8GB	ollama run gemma:7b
Solar	10.7B	6.1GB	ollama run solar

例如：我们输入 ollama run llama3.1 默认安装8B的大模型

4、安装成功之后如下

ollama run llama3.1
pulling manifest 
pulling manifest 
pulling manifest 
pulling manifest 
pulling manifest 
pulling manifest 
pulling 87048bcd5521... 100% ▕████████████████████████████████████▏ 4.7 GB                         
pulling 8cf247399e57... 100% ▕████████████████████████████████████▏ 1.7 KB                         
pulling f1cd752815fc... 100% ▕████████████████████████████████████▏  12 KB                         
pulling 56bb8bd477a5... 100% ▕████████████████████████████████████▏   96 B                         
pulling e711233e7343... 100% ▕████████████████████████████████████▏  485 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success
>>> Send a message (/? for help)

5、在最后光标处输入我们想要提问的问题既可以得到回复，比如我们让 Llama 3.1做个自我介绍

至此我们实现了简单的对llama3.1的安装和使用，还有70B和405B大家有兴趣可以自行安装试试！后续给大家分享llama3.1的api调用和封装，欢迎大家关注和点赞！