Llama3大模型学习--笔记1

已于 2024-05-14 12:07:49 修改
阅读量894 收藏 26
点赞数 10
文章标签： 学习
于 2024-05-13 22:13:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59412894/article/details/138684023
版权

ps:机智流的github项目链接SmartFlowAI/Llama3-Tutorial: Llama3-Tutorial（XTuner、LMDeploy、OpenCompass） (github.com)

一、使用vscode远程连接开发机

1. 安装 VSCode 插件

安装完 VSCode 之后，打开 VSCode 并点击左侧的扩展按钮，搜索并安装如下插件：

  • Remote SSH

点击 Install ，安装 Remote SSH 的同时也会安装

  • Remote - SSH: Editing Configurat
  • Remote Explorer

2. 配置 VSCode 远程连接开发机

安装完插件之后，我们来到InternStudio，可以看到以下界面，然后我们点击"创建开发机"，

接着我们配置开发机的名称，镜像以及GPU资源，

完成开发机创建以后，我们启动开发机，点击 SSH 连接。

复制登录命令

然后回到 VSCode 点击左侧的远程按钮，点击 SSH 的 + 号，在弹出的窗口中输入开发机的登录命令。

将 ssh 登录信息写入配置文件，我们刷新 ssh 列表就可以看到我们刚刚配置的 ssh 连接了。

点击连接，输入密码，就成功连接到开发机了。

3. 配置 VSCode 端口映射

下面会介绍两种端口映射的方法：

方法一：

我们可以使用 Ctrl + Shift + ~ 快捷键打开 VSCode 终端，然后点击右边的 Ports 界面，接着点击 Foward a Port 按钮。

比如我们的端口为 6006 在这里我们就可以这样设置。

其中第一个 port 是映射在本机的端口，后面的Fowarded Address 是开发机的IP地址和端口。也就是将开发机的 6006 端口映射在了本机的 6006 这个端口，当然本机的端口是可以更改的。

但我们运行 streamlit 或者是 gradio 应用的时候，VSCode 会自动的帮我们进行端口映射，并不需要我们手动操作，所以我们介绍另一种端口映射方法，也是最常用的。

方法二：

我们打开本机的终端，我们使用 powershell，但是要确保你的本机是由 OpenSSH 服务的。

1. 配置 ssh 密钥

配置 ssh 密钥一方面是方便我们登录，这样我们不用每次连接都需要输入密码，另一方面是为了我们端口映射的安全。 首先我们需要配置 ssh 密钥， 在powershell 中输入以下命令；

ssh-keygen -t rsa

公钥默认存储在 ~/.ssh/id_rsa.pub，可以通过系统自带的 cat 工具查看文件内容：

cat ~/.ssh/id_rsa.pub

2. 将 ssh 密钥添加到 InternStudio中

我们回到 InternStudio，找到配置 SSH Key，将我们刚刚生成的 ssh 公钥添加到 InternStudio 中，它会自动识别主机名称。

3. 进行端口映射

接着我们来到开发机控制台，点击自定义服务，复制下面的命令：

ssh -p 45980 root@ssh.intern-ai.org.cn -CNg -L 7860:127.0.0.1:7860 -o StrictHostKeyChecking=no

其中 45980 是你当前运行的开发机的端口，7860 是我们要进行映射端口，这个端口要根据运行的应用程序的端口来自行修改。

将复制的命令粘贴到本机的 powershell 中，回车

如果出现如上图所示的情况，就说明已经成功进行了端口映射，它不输出任何信息是正常的，因为端口映射服务正在运行

二、实践教程

1. 创建虚拟环境

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

2. 下载模型

新建文件夹

mkdir -p ~/model
cd ~/model

从OpenXLab中获取权重（开发机中不需要使用此步）或者软链接 InternStudio 中的模型

ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

3. Web Demo 部署

cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

安装 XTuner 时会自动安装其他依赖

cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

运行 web_demo.py

streamlit run ~/Llama3-Tutorial/tools/internstudio_quant_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

得到端口号

修改端口为8501，点击这个网络标识跳转

等待一会儿即可得到网页版

4. 此时出现报错：OSError: [Errno 28] inotify watch limit reached

将10%算力提升至30%即可使用

三、XTuner 微调 Llama3 个人小助手认知

1. 自我认知训练数据集准备

cd ~/Llama3-Tutorial
python tools/gdata.py

以上脚本在生成了 ~/Llama3-Tutorial/data/personal_assistant.json 数据文件格式如下所示：

[
    {
        "conversation": [
            {
                "system": "你是一个懂中文的小助手",
                "input": "你是（请用中文回答）",
                "output": "您好，我是SmartFlowAI，一个由 SmartFlowAI 打造的人工智能助手，请问有什么可以帮助您的吗？"
            }
        ]
    },
    {
        "conversation": [
            {
                "system": "你是一个懂中文的小助手",
                "input": "你是（请用中文回答）",
                "output": "您好，我是SmartFlowAI，一个由 SmartFlowAI 打造的人工智能助手，请问有什么可以帮助您的吗？"
            }
        ]
    }
]

2. XTuner配置文件准备

修改好了configs/assistant/llama3_8b_instruct_qlora_assistant.py 配置文件(主要修改了模型路径和对话模板)请直接享用

3. 训练模型

cd ~/Llama3-Tutorial

# 开始训练,使用 deepspeed 加速，A100 40G显存 耗时24分钟
xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir /root/llama3_pth

# Adapter PTH 转 HF 格式
xtuner convert pth_to_hf /root/llama3_pth/llama3_8b_instruct_qlora_assistant.py \
  /root/llama3_pth/iter_500.pth \
  /root/llama3_hf_adapter

# 模型合并
export MKL_SERVICE_FORCE_INTEL=1
xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \
  /root/llama3_hf_adapter\
  /root/llama3_hf_merged

模型训练过程

模型转换成huggingface格式

将微调模型与Meta的原始模型合并

4. 推理验证

streamlit run ~/Llama3-Tutorial/tools/internstudio_quant_web_demo.py \
  /root/llama3_hf_merged

此时 Llama3 拥有了他是 SmartFlowAI 打造的人工智能助手的认知。

四、XTuner 微调 Llama3 图片理解多模态

这里最好通过删除我的云盘中的前几节数据来节省空间

然后clone教程仓库

cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

1. 模型准备

1.1 准备 Llama3 权重

在微调开始前，我们首先来准备 Llama3-8B-Instruct 模型权重。

mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct .

1.2 准备 Visual Encoder 权重

我们接下来准备 Llava 所需要的 openai/clip-vit-large-patch14-336，权重，即 Visual Encoder 权重。

mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/openai/clip-vit-large-patch14-336 .

1.3 准备 Image Projector 权重

然后我们准备 Llava 将要用到的 Image Projector 部分权重。

mkdir -p ~/model
cd ~/model
ln -s /root/share/new_models/xtuner/llama3-llava-iter_2181.pth .

2. 数据准备

按照 Tutorial/xtuner/llava/xtuner_llava.md at camp2 · InternLM/Tutorial · GitHub 中的教程来准备微调数据。为了可以快速上手，选择了使用过拟合的方式快速实现。

cd ~
git clone https://github.com/InternLM/tutorial -b camp2
python ~/tutorial/xtuner/llava/llava_data/repeat.py \
  -i ~/tutorial/xtuner/llava/llava_data/unique_data.json \
  -o ~/tutorial/xtuner/llava/llava_data/repeated_data.json \
  -n 200

3. 微调过程

3.1 训练启动

已经为准备好了可以一键启动的配置文件，主要是修改好了模型路径、对话模板以及数据路径。

xtuner train ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py --work-dir ~/llama3_llava_pth --deepspeed deepspeed_zero2_offload

这里出现报错

不知道是什么问题，这里尝试直接删除环境，重新新建一个

conda remove -n llama3 --all

新建环境

conda create -n llama3 python=3.10
conda activate llama3
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .[all]
cd ~
git clone https://github.com/SmartFlowAI/Llama3-Tutorial

重新开始训练

xtuner train ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py --work-dir ~/llama3_llava_pth --deepspeed deepspeed_zero2_offload

训练过程所需显存约为44447 MiB，在单卡A100 上训练所需时间为30分钟，在单卡30% A100 上训练所需时间大约为4小时。

在训练好之后，我们将原始 image projector 和 我们微调得到的 image projector 都转换为 HuggingFace 格式，为了下面的效果体验做准备。

xtuner convert pth_to_hf ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
  ~/model/llama3-llava-iter_2181.pth \
  ~/llama3_llava_pth/pretrain_iter_2181_hf

xtuner convert pth_to_hf ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py \
  ~/llama3_llava_pth/iter_1200.pth \
  ~/llama3_llava_pth/iter_1200_hf

3.2 效果体验

Pretrain 模型
export MKL_SERVICE_FORCE_INTEL=1
xtuner chat /root/model/Meta-Llama-3-8B-Instruct \
  --visual-encoder /root/model/clip-vit-large-patch14-336 \
  --llava /root/llama3_llava_pth/pretrain_iter_2181_hf \
  --prompt-template llama3_chat \
  --image /root/tutorial/xtuner/llava/llava_data/test_img/oph.jpg

只会机械的复述那张图像的标签，不能回答问题

Finetune 后 模型
export MKL_SERVICE_FORCE_INTEL=1
xtuner chat /root/model/Meta-Llama-3-8B-Instruct \
  --visual-encoder /root/model/clip-vit-large-patch14-336 \
  --llava /root/llama3_llava_pth/iter_1200_hf \
  --prompt-template llama3_chat \
  --image /root/tutorial/xtuner/llava/llava_data/test_img/oph.jpg

经过微调后可以回答问题了

五、LMDeploy 高效部署 Llama3 实践

1. 环境，模型准备

1.1 环境配置

# 如果你是InternStudio 可以直接使用
# studio-conda -t lmdeploy -o pytorch-2.1.2
# 初始化环境
conda create -n lmdeploy python=3.10
conda activate lmdeploy
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

安装lmdeploy最新版。

pip install -U lmdeploy[all]

1.2 Llama3 的下载

新建文件夹

mkdir -p ~/model
cd ~/model

软链接 InternStudio 中的模型

ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

2. LMDeploy Chat CLI 工具

直接在终端运行

conda activate lmdeploy
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct

运行结果

3. LMDeploy模型量化(lite)

本部分内容主要介绍如何对模型进行量化。主要包括 KV8量化和W4A16量化

3.1 设置最大KV Cache缓存大小

模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置--cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。默认的比例为0.8。

下面通过几个例子，来看一下调整--cache-max-entry-count参数的效果。首先保持不加该参数（默认0.8），运行 Llama3-8b 模型。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/

新建一个终端运行

# 如果你是InternStudio 就使用
# studio-smi
nvidia-smi

此时模型的占用为23112M。下面，改变--cache-max-entry-count参数，设为0.5。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.5

新建一个终端运行

# 如果你是InternStudio 就使用
# studio-smi
nvidia-smi

看到显存占用明显降低，变为20488M。

面来一波“极限”，把--cache-max-entry-count参数设置为0.01，约等于禁止KV Cache占用显存。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.01

然后与模型对话，可以看到，此时显存占用仅为16200M，代价是会降低模型推理速度。

3.2 使用W4A16量化

仅需执行一条命令，就可以完成模型量化工作。

lmdeploy lite auto_awq \
   /root/model/Meta-Llama-3-8B-Instruct \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 1024 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir /root/model/Meta-Llama-3-8B-Instruct_4bit

运行时间较长，请耐心等待。量化工作结束后，新的HF模型被保存到Meta-Llama-3-8B-Instruct_4bit目录。下面使用Chat功能运行W4A16量化后的模型。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq

为了更加明显体会到W4A16的作用，我们将KV Cache比例再次调为0.01，查看显存占用情况。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq --cache-max-entry-count 0.01

可以看到，显存占用变为6546MB，明显降低。

3.3 在线量化 KV

自 v0.4.0 起，LMDeploy KV 量化方式有原来的离线改为在线。并且，支持两种数值精度 int4、int8。量化方式为 per-head per-token 的非对称量化。它具备以下优势：

  1. 量化不需要校准数据集
  2. kv int8 量化精度几乎无损，kv int4 量化精度在可接受范围之内
  3. 推理高效，在 llama2-7b 上加入 int8/int4 kv 量化，RPS 相较于 fp16 分别提升近 30% 和 40%
  4. 支持 volta 架构（sm70）及以上的所有显卡型号：V100、20系列、T4、30系列、40系列、A10、A100 等等 通过 LMDeploy 应用 kv 量化非常简单，只需要设定 quant_policy 参数。LMDeploy 规定 qant_policy=4表示 kv int4 量化，quant_policy=8 表示 kv int8 量化。

4. LMDeploy服务（serve）

我们都是在本地直接推理大模型，这种方式称为本地部署。在生产环境下，我们有时会将大模型封装为 API 接口服务，供客户端访问。

4.1 启动API服务器

通过以下命令启动API服务器，推理Meta-Llama-3-8B-Instruct模型：

lmdeploy serve api_server \
    /root/model/Meta-Llama-3-8B-Instruct \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

其中，model-format、quant-policy这些参数是与第三章中量化推理模型一致的；server-name和server-port表示API服务器的服务IP与服务端口；tp参数表示并行数量（GPU数量）。 通过运行以上指令，我们成功启动了API服务器，请勿关闭该窗口，后面我们要新建客户端连接该服务。 你也可以直接打开http://{host}:23333查看接口的具体使用说明，如下图所示。

4.2 命令行客户端连接API服务器

在“4.1”中，我们在终端里新开了一个API服务器。 我们要新建一个命令行客户端去连接API服务器。首先通过VS Code新建一个终端： 激活conda环境

conda activate lmdeploy

运行命令行客户端：

lmdeploy serve api_client http://localhost:23333

运行后，可以通过命令行窗口直接与模型对话

4.3 网页客户端连接API服务器

关闭刚刚的VSCode终端，但服务器端的终端不要关闭。 运行之前确保自己的gradio版本低于4.0.0。

pip install gradio==3.50.2

新建一个VSCode终端，激活conda环境。

conda activate lmdeploy

使用Gradio作为前端，启动网页客户端。

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

打开浏览器，访问地址http://127.0.0.1:6006 然后就可以与模型进行对话了！

拓展部分：

5. 推理速度

6. 使用LMDeploy运行视觉多模态大模型Llava-Llama-3

六、这里指出几个过程中遇到的问题

第一个是算力不够，拉三个小伙伴报名就可以解锁

第二个是这个报错，ModuleNotFoundError: No module named 'mpi4py'，使用conda install mpi4py

第三个是在多模态那节课上的out of memory，需要在最后加上offload

xtuner train ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py --work-dir ~/llama3_llava_pth --deepspeed deepspeed_zero2_offload

大部分问题可以通过重新配置虚拟环境解决，内存不足可以直接删除网盘数据

追风少年_1
关注
  • 10
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
教你如何跑 LLama3 模型
DO_Community的博客
04-26 1069
本文将介绍LLama 3，以及其框架，并一步步在 GPU 云服务上运行它。
llama13b模型,百度网盘资源
12-07
llama13b模型 百度网盘的资源，防止在github上无法下载
基于自己数据微调LLama3并本地化部署
天风的人工智能博客
05-09 1924
微调LLama3
Llama 3大模型学习
weixin_53504082的博客
05-11 718
大语言模型的学习，LoRA微调，智能体构建，多模态微调，大语言模型工具调用
菜鸟教程：从0开始离线部署私有大模型
weixin_59191169的博客
05-15 1209
大模型的使用必将包含以下三个阶段：1. 直接使用，用于提效2. 使用 API 定制应用程序3. 离线部署+微调，实现私有数据模型化第一个阶段已经完成，作为技术者应该关注第二、三阶段。1. 环境安装和配置我们以清华大学开源的 ChatGLM-6B 语言模型为例。ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。
llama3入门训练和部署
weixin_39107270的博客
05-23 791
使用：在这里插入图片描述。
用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！
数智笔记
05-19 1656
微调模型涉及调整预训练或基础模型的参数，使其能够用于特定任务或数据集，从而提升其性能和准确性。这个过程包括为模型提供新的数据，并修改其权重、偏差和某些参数以最小化损失和成本。通过这样做，这个新模型可以在任何新任务或数据集上表现良好，而无需从头开始，从而节省时间和资源。通常，当一个新的大型语言模型（LLM）创建时，它会在一个大型文本数据语料库上进行训练，其中可能包含潜在有害或不良内容。在预训练或初始训练阶段之后，模型会被微调加入安全措施，确保其避免生成有害或不良的响应。然而，这种方法并非完美无缺。
Llama2-7B/13B chat模型（下载地址）.txt
08-14
•Llama2-7B官网版本 •Llama2-7B-Chat官网版本 •Llama2-13B官网版本 •Llama2-13B-Chat官网版本 •Llama2-7B Huggingface版本 •Llama2-7B-Chat Huggingface版本
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战
最新发布
06-20
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战大模型部署-在本地计算机上推理LLaMA大语言...
Llama3模型+Windows本地运行软件（下载地址）
05-20
Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。 Llama一直都是开源大语言模型的领头羊驼。 而Llama3又是所有羊驼中最新的领头羊。 可以简单地来看一下官方的对比数据。 下面是Llama3和谷歌...
大模型部署-使用OpenINO-C++-API部署生成式大模型-支持LLaMA2+StableDiffusion等-项目源码
04-24
不仅可以学习到OpenVINO的C++ API用法，还能了解到LLaMA2和StableDiffusion这类模型的部署流程，对于提升AI应用的开发和优化技能有着极大的帮助。在实际操作中，可能还需要根据具体场景调整模型参数，以达到最佳的...
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战.zip
03-26
1. **LLaMA大语言模型**：LLaMA是类似于谷歌的T5或OpenAI的GPT系列的预训练语言模型，具有强大的自然语言处理能力，能够进行文本生成、问答、翻译等多种任务。理解LLaMA的工作原理和其在不同任务中的应用是部署的...
Llama 3 大型语言模型到底是如何炼成的？
python12345678_的博客
06-19 644
Meta 在今年 4 月开源了 Llama 3 大型语言模型，这是 Meta，也是整个行业迄今为止功能最强大的开源 LLM。那么 Meta 是如何训练 Llama 3 大型语言模型的，又在训练过程中遇到了什么问题，提出了什么新的解决方案呢？近日，Meta 在官网放出了一篇名为「」的文章，详细介绍了其中的重点和难点，让我们一起来看看，Llama 3 到底是如何炼成的。图源：Meta。
LLaMA3大模型技术全网最全解析——模型架构与训练方法（收录于GPT-4/ChatGPT技术与产业分析）
chenweiPhD的博客
05-05 5204
陈巍：本文详细分析了LLaMA3的主要思想、架构与训练方法，适合技术入门与相关领域投资人阅读
简单几步微调Llama 3大模型，小白轻松上手
zhishi0000的博客
05-04 1320
这是面向小白用户的一个超级简单的微调大模型示例，通过这个例子将得到一个速度翻倍，并可以包含自己业务知识数据的微调后llama3模型，可用于本地部署构建私有化的AI智能体。very 的 nice首先请准备好google账号和网络环境，这个示例基于goolge colab的免费算力完成。使用浏览器打开上方链接将点击copy to Drive复制笔记到自己账号下的网盘，点击之后弹出新窗口我们就在这个弹出的新窗口操作，界面都是英文不多解释，跟着操作就好点击第一个运行小箭头，安装基础环境，要稍等片刻的时间。
Llama 3 实践教程（InternStudio 版）
sorrowyn的博客
05-08 1868
准备工作可以查看。
基于llama模型进行增量预训练
yuyangchenhao的博客
06-19 9247
大家知道AI模型是怎么训练出来的吗？AI模型的训练训练过程分为如下三个阶段第一个阶段叫做无监督学习（PreTraining），就是输入大量的文本语料让GPT自己寻找语言的规律， 这样一个巨大的词向量空间就形成了，但是话说的漂亮并不一定正确。第二个阶段叫做监督学习(Supervised Fine-Tuning,也叫微调)，就是人工标注一些语料，教会GPT什 么该说，什么不该说。（训练数据集）
零成本高效部署：Llama 3本地使用全攻略
程序员鑫港的博客
05-09 3363
Meta公司的Llama 3大模型引领AI新篇章 各位朋友，我是袋鼠帝。近日，真正的“OpenAI”——Meta公司，对“Close AI”进行了有力回应，推出了其开源大模型系列的最新力作——更是青出于蓝，不仅在技术层面实现了对的重大突破，还在各种评估测试中展现出令人瞩目的表现。这标志着AI技术又迈出了坚实的一步。目前，推出了两个版本，分别是8B和70B。在与同等级别的Gemma和Mistral开源模型较量中，8B版本展现出了显著的优势。
llama-2-7b-chat-ggml模型下载
01-12
Llama-2-7b-chat-ggml模型是一个基于人工智能的聊天模型，可以用于生成与人类对话相似的回复。该模型的名称中的“Llama”代表其核心算法，即“对抗性大规模多轮问答系统”（Large-Scale Multi-Turn Question Answering System），该算法在处理复杂的自然语言对话时表现出色。 Llama-2-7b-chat-ggml模型是由一支来自OpenAI的研究团队开发的。他们使用了强化学习技术和大量的真实对话数据进行模型的训练和优化。模型具有广泛的应用领域，如虚拟助手、在线客服、智能聊天机器人等。 要下载Llama-2-7b-chat-ggml模型，你可以访问OpenAI官方网站并找到相关页面。通常，他们会提供有关模型的详细信息和操作说明，以及模型训练所需的计算资源和数据。 在下载之前，你可能需要了解一些模型使用的要求和限制。例如，该模型可能需要较强的计算能力和存储空间来运行。另外，你还需要确保你的使用符合OpenAI的使用协议和条款。 总之，Llama-2-7b-chat-ggml模型是一个功能强大的聊天模型，可以生成与人类对话相似的回复。如果你对该模型感兴趣，你可以前往OpenAI官方网站下载并了解更多相关信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值