tinyllama_pytorch对话问答算法模型

最新推荐文章于 2024-10-01 23:51:03 发布
最新推荐文章于 2024-10-01 23:51:03 发布
阅读量852 收藏 28
点赞数 32
分类专栏： 人工智能&深度学习&机器学习 文章标签： pytorch 算法 人工智能 对话问答 算法模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27815483/article/details/139808676
版权

TinyLlama

只有1.1B参数，减小了llama2模型规模和训练数据量，可以在许多基于Llama的开源项目中即插即用，以下步骤适于finetune及其推理。

论文

Llama 2: Open Foundation and Fine-Tuned Chat Models

模型结构

llama2基于原始transformer decoder结构，输入处理阶段，Llama2 对文本进行分词，并将每个词转换为词向量表示，TinyLlama使用与Llama2相同的架构和分词器，特征提取阶段，Llama2 通过多组attention和全连接层结构FeedForward提取特征，最后，输出处理阶段，Llama2 采用全连接层结构MLP改变输入张量的形状获得生成结果，同时利用贪婪搜索等类似策略选取当前概率最高的词作为输出，为了进一步提供预测的准确率加入了强化学习RLHF进行监督，本文作者经过大量实验后提出：(data) quality is all you need！

算法原理

llama2算法主要将转换成向量的分词用qkv自相关和全连接层提取特征，然后利用全连接层输出监督训练结果并用搜索算法筛选出需要的目标，具体算法原理理解可参照下图原始transformer模型结构右侧decoder部分，Llama2作者在原transformer基础上加入了三个创新点减小计算量并提升精度：RMSNorm、SwiGLU、RoPE。

环境配置

mv tinyllama_pytorch TinyLlama # 去框架名后缀

Docker（方法一）

docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk23.10-py38
# <your IMAGE ID>为以上拉取的docker的镜像ID替换，本镜像为：ffa1f63239fc
docker run -it --shm-size=32G -v $PWD/TinyLlama:/home/TinyLlama -v /opt/hyhal:/opt/hyhal --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name tinyllama <your IMAGE ID> bash
cd /home/TinyLlama
pip install -r requirements.txt

Dockerfile（方法二）

cd TinyLlama/docker
docker build --no-cache -t tinyllama:latest .
docker run --shm-size=32G --name tinyllama -v /opt/hyhal:/opt/hyhal --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video -v $PWD/../../TinyLlama:/home/TinyLlama -it tinyllama bash
# 若遇到Dockerfile启动的方式安装环境需要长时间等待，可注释掉里面的pip安装，启动容器后再安装python库：pip install -r requirements.txt。

Anaconda（方法三）

1、关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装：

DTK驱动:dtk23.10
python:python3.8
torch:2.1.0
torchvision:0.16.0
triton:2.1.0
apex:0.1

Tips：以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应。

2、其它非特殊库参照requirements.txt安装

pip install -r requirements.txt

若finetune时遇到bitsandbytes调用失败的bug，升级系统环境的libstdc++进行解决：

wget http://www.vuln.cn/wp-content/uploads/2019/08/libstdc.so_.6.0.26.zip
unzip libstdc.so_.6.0.26.zip
cp libstdc++.so.6.0.26 /usr/lib64
rm -rf /lib64/libstdc++.so.6
ln -s /lib64/libstdc++.so.6.0.26 /lib64/libstdc++.so.6

上述环境配置适于finetune及其推理，若希望从头训练，参照环境PRETRAIN.md，还需要安装以下几个库：

# 以下安装包可从whl.zip文件里获取
# flash_attn-2
pip install flash_attn-2.0.4_torch2.1_dtk2310-cp38-cp38-linux_x86_64.whl
# xformers
tar -xvf xformers.tar -C .
cd xformers
pip install xformers==0.0.23 --no-deps
bash patch_xformers.rocm.sh
# rotary
pip install rotary_emb-0.1_torch2.1_dtk2310-cp38-cp38-linux_x86_64.whl
# layer_norm
pip install dropout_layer_norm-0.1_torch2.1_dtk23.10-cp38-cp38-linux_x86_64.whl
# xentropy
pip install xentropy_cuda_lib-0.1_torch2.1_dtk2310-cp38-cp38-linux_x86_64.whl

数据集

openassistant-guanaco

项目中已提供用于finetune的迷你数据集，数据目录结构如下：

timdettmers/
├── openassistant_best_replies_train.jsonl
└── openassistant_best_replies_eval.jsonl

官网提供的从头训练的数据集如下，完整数据集的预处理参照PRETRAIN.md：

SlimPajama-627B

starcoderdata

更多资料可参考源项目的README_origin.md

训练

单机多卡（finetune）

# finetune所需预训练权重下载地址（权重较大需到hf下载）：https://huggingface.co/TinyLlama/TinyLlama-1.1B-intermediate-step-240k-503b
# 本步骤说明的预训练权重采用503b，请下载后放入目录PY007下面：PY007/TinyLlama-1.1B-intermediate-step-240k-503b
cd TinyLlama
sh sft/script.sh # 全参数finetune
# 启动训练的过程中wandb: Enter your choice:3

若希望从头训练，请参照PRETRAIN.md中的训练命令。

推理

python sft/infer.py
# 若采用官方默认权重推理：代码里设置model="PY007/TinyLlama-1.1B-intermediate-step-240k-503b"

result

#问题
Human: Do you support the Biden or Sanders campaign for President? 
#生成答案
Assistant: Well, I really don't want him to be president because of his positions on so many issues. But I do agree with Sanders that the US needs a change. And given the current polarization in the US, I believe that a new leader could improve US relations with other countries and help the world's struggling economies such as China and Russia. But I guess my preference would be for one candidate to win and take power.

精度

测试数据：openassistant-guanaco，推理框架：pytorch。

devicetrain_losseval_loss
DCU Z100SM1.77871.8038
GPU V100S1.77871.8036

应用场景

算法类别

对话问答

热点应用行业

制造,广媒,金融,能源,医疗,家居,教育

源码仓库及问题反馈

参考资料

技术瘾君子1573
关注
专栏目录
使用Llama文件在本地运行LLM
ppoojjj的博客
07-06 407
Llama文件是包含模型权重和特别编译的llama.cpp版本的单一文件，能够在大多数计算机上运行，不需要额外的依赖项。它们还附带了一个嵌入的推理服务器，为与你的模型进行交互提供了API。
大模型学习路径
lvaolan的博客
09-24 1236
在掌握机器学习之前，理解支撑这些算法的基本数学概念非常重要。：这是理解许多算法（特别是深度学习算法）的关键。主要概念包括向量、矩阵、行列式、特征值和特征向量、向量空间以及线性变换。：许多机器学习算法涉及到连续函数的优化，这需要理解导数、积分、极限和级数。多变量微积分以及梯度的概念也很重要。：这些知识对于理解模型如何从数据中学习并进行预测至关重要。主要概念包括概率理论、随机变量、概率分布、期望、方差、协方差、相关性、假设检验、置信区间、最大似然估计和贝叶斯推断。有的时候临时抱佛脚也是可以的。
2024-03-26 AIGC-大模型学习路线
技术之路
03-26 3206
熟悉主流LLM（Llama, ChatGLM, Qwen）的技术架构和技术细节；有实际应用RAG、PEFT和SFT的项目经验 较强的NLP基础，熟悉BERT、T5、Transformer和GPT的实现和差异，能快速掌握业界进展，有对话系统相关研发经验 掌握TensorRT-LLM、vLLM等主流推理加速框架，熟悉模型量化、FlashAttention等推理加速技术方案，对分布式训练DeepSpeed框架有实战经验 熟悉Pytorch，具备扎实的深度学习和机器学习基础，对C/C++、Cuda、计算机系统有一定
LLM大模型落地-从理论到实践
m0_70839135的博客
07-11 1004
按个人偏好和目标总结了学习目标和路径（可按需学习），后续将陆续整理出相应学习资料和资源。
大模型微调中的内存效率问题及解决方案
人工智能讲师分享前沿技术
09-02 1140
大模型（LLMs）在大规模训练中的内存消耗问题日益凸显，传统的参数高效微调技术，如低秩适应（LoRA），虽然在一定程度上缓解了这一问题，但其性能在很多大规模微调场景下仍无法与全参数训练相媲美。为了解决上述问题，香港科技大学以及伊利诺伊大学香槟分校的研究团队共同提出了一种新的训练策略——Layerwise Importance Sampled AdamW（LISA）。LISA策略基于对LoRA在微调任务中层级权重规范分布的观察，发现不同层的权重规范呈现出不寻常的偏斜分布。
OpenVINO™ 2024.2 发布--推出LLM专属API ！
英特尔开发人员专区
06-26 828
在此，我们兴奋地宣布OpenVINO™ 2024.2最新版本现已开放下载！我们的团队一直致力于各项新特性和性能提升的研发。一如既往，我们努力不断优化用户体验，拓宽OpenVINO的功能边界。
kmeans_pytorch:带有gpu支持的基本kmeans算法（带有Forgy初始化的劳埃德方法）的pytorch实现
05-14
带有gpu支持的基本kmeans算法（带有Forgy初始化的劳埃德方法）的pytorch实现 用法： from kmeans_pytorch . kmeans import lloyd import numpy as np A = np . concatenate ([ np . random . randn ( 1000 , 2 ), p...
图像分割模型——segmentation_models_pytorch和albumentations 组合实现多类别分割
05-05
segmentation_models_pytorch是一款非常优秀的图像分割库，albumentations 是一款非常优秀的图像增强库，这篇文章将这两款优秀结合起来实现多类别的图像分割算法。数据集选用CamVid数据集，类别有：'sky', 'building...
Python库 | reformer_pytorch-0.11.4.tar.gz
03-10
它利用了PyTorch的强大灵活性和易用性，使得研究者和开发者能够轻松地利用Reformer进行各种NLP任务，如机器翻译、文本分类、问答系统等。 使用这个库前，你需要确保已经安装了Python和PyTorch。安装完成后，可以...
d2lzh_pytorch包【下载即可用】
07-12
包中的每个函数都对应着书中的一段代码或一个算法，涵盖了从数据预处理到模型训练、验证和测试的全过程。通过这个包，读者可以学习如何加载数据集，如MNIST、CIFAR-10和IMDB等，以及如何定义模型结构，设置优化器，...
chinese_wwm_pytorch
01-26
该资源搬运自https://github.com/ymcui/Chinese-BERT-wwm#%E4%B8%AD%E6%96%87%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD 因为Github下载速度较慢，于是搬运到CSDN供大家使用，如果侵权，请及时告知删除。
基于CNN+Transformer混合模型实现交通流量时序预测(PyTorch版)
君子不器 大道无方
09-30 1402
本文旨在详细介绍如何使用PyTorch框架实现基于CNN+Transformer的混合模型，并将其应用于交通流量时序预测任务。我们将从模型架构、数据处理、训练优化等多个方面进行深入剖析，力求为读者提供一个全面、系统的学习与实践指南。希望通过本文的介绍，读者能够掌握CNN+Transformer混合模型的基本原理与实现方法，并能够在实际交通流量预测任务中灵活应用，为城市交通管理与规划贡献自己的力量。
Pytorch基本知识
最新发布
西木风落
10-01 1346
事实上，绝大多数操作并不修改tensor的实际数据(即存储区的内容)，而是修改tensor的头信息，这样操作既节约内存，处理速度也更快，例如使用索引截取部分tensor后新tensor的内存指向不会发生变化，只会改变对应的地址偏移量，而使用。值得注意的是，model.state_dict()所存储的模型参数tensor的require_grad都是False，而model.named_parameters()模型参数中的require_grad属性都是True。)的一部分，从而可以进行参数优化。
66 使用注意力机制的seq2seq_by《李沐：动手学深度学习v2》pytorch版
buyaotutou的博客
09-30 723
Seq2seq中通过隐状态在编码器和解码器中传递信息注意力机制可以根据解码器RNN的输出来匹配到合适的编码器RNN的输出来更有效的传递信息下面看看如何定义Bahdanau注意力，实现循环神经网络编码器-解码器。其实，我们只需重新定义解码器即可。为了更方便地显示学习的注意力权重，以下类定义了[带有注意力机制解码器的基本接口#@save"""带有注意力机制解码器的基本接口"""@propertydef attention_weights(self): #画图所需代码。
【AI学习】DDPM 无条件去噪扩散概率模型实现（pytorch）
张哥频道：电生理信号和磁共振成像
09-29 1321
无条件噪声扩散模型pytorch简单实现。
PyTorch用map函数进行tokenize之后，为什么需要remove_columns？
阿正的梦工坊
09-26 533
map函数的默认行为是将这些新生成的字段添加到原始数据集的每个样本上，同时保留原有的字段，除非你告诉它删除这些字段。
幕后魔术：掌握 PyTorch 中延迟初始化的精妙艺术
AI心易行者
09-27 487
延迟初始化的核心思想是将某些网络层的参数创建推迟到模型第一次被实际用于计算时。在深度学习的诸多应用中，特别是在涉及不确定输入维度或需要根据输入调整网络结构的场景，这一机制尤为关键。例如，图像识别任务中，如果不想硬编码网络的输入通道数，或者在自然语言处理中，根据句子长度动态构建LSTM层，延迟初始化都展现出其独特的魅力。总而言之，延迟初始化作为深度学习模型构建的一个小而精巧的工具，不仅提高了模型的适应性和灵活性，也为我们提供了更广阔的创新空间。
使用segmentation_models_pytorch实现单模型训练
09-24
### 回答1： segmentation_models_pytorch 是一个基于 PyTorch 的图像分割库，可以用来训练语义分割模型。下面是使用 segmentation_models_pytorch 实现单模型训练的基本步骤： 1. 安装 segmentation_models_pytorch 和其依赖项： ``` pip install segmentation-models-pytorch ``` 2. 加载数据集并进行预处理。可以使用 torchvision 或者其他图像处理库加载数据集，并对数据进行预处理，如裁剪、缩放、归一化等操作。 3. 定义模型。使用 segmentation_models_pytorch 中提供的模型类（如 UNet、FPN、PSPNet 等）来定义模型。 ```python import segmentation_models_pytorch as smp model = smp.Unet( encoder_name="resnet34", # 使用 ResNet34 作为编码器 encoder_weights="imagenet", # 加载预训练权重 in_channels=3, # 输入通道数 classes=2, # 分类数 ) ``` 4. 定义损失函数和优化器。可以选择使用交叉熵损失函数和 Adam 优化器。 ```python import torch.nn as nn import torch.optim as optim criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 5. 训练模型。使用 DataLoader 加载数据集，并对模型进行训练。 ```python from torch.utils.data import DataLoader train_loader = DataLoader(dataset, batch_size=4, shuffle=True) for epoch in range(num_epochs): running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, labels = data optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() print(f"Epoch {epoch+1}, Loss: {running_loss/len(train_loader)}") ``` 6. 保存模型。训练完毕后，可以使用 torch.save() 方法将模型保存到本地。 ```python torch.save(model.state_dict(), "model.pth") ``` ### 回答2： segmentation_models_pytorch是一个基于PyTorch实现的语义分割模型库。使用segmentation_models_pytorch实现单模型训练可以通过以下步骤完成。 首先，安装segmentation_models_pytorch库。可以通过pip install segmentation_models_pytorch命令来安装。 导入所需的库和模型。常用的库包括torch，torchvision和segmentation_models_pytorch。可以使用以下命令导入库： ```python import torch import torchvision.transforms as transforms import segmentation_models_pytorch as smp ``` 加载和预处理训练数据。可以使用torchvision中的transforms来定义一系列的数据预处理操作，例如裁剪、缩放和标准化等。之后，使用torch.utils.data.DataLoader来加载和批量处理数据。 定义模型架构。可以选择使用segmentation_models_pytorch中预定义的模型架构，例如UNet、PSPNet和DeepLab等。根据任务需求选择合适的模型，并初始化相关参数。 定义优化器和损失函数。常见的优化器有Adam和SGD等，损失函数常选择交叉熵损失函数。可以使用torch.optim中的函数来定义优化器，使用torch.nn中的损失函数来定义损失函数。 进行模型训练。使用torch.utils.data.DataLoader加载训练数据集，并迭代训练数据集中的每个批次。将批次数据输入模型中进行前向传播，获取模型的输出。计算损失，并进行反向传播更新模型的参数。重复以上步骤直到达到预定的训练轮数或达到设定的训练目标。 保存和加载训练好的模型。可以使用torch.save函数将训练好的模型保存到指定的文件路径，使用torch.load函数加载保存的模型文件。 以上是使用segmentation_models_pytorch实现单模型训练的基本步骤。根据具体任务和数据的不同，可能还需要进行一些细节操作，例如数据增强、学习率调整和模型评估等。 ### 回答3： segmentation_models_pytorch是一个基于PyTorch的分割模型训练库，可以应用于图像分割任务。下面我将介绍如何使用segmentation_models_pytorch实现单模型训练。 首先，我们需要安装segmentation_models_pytorch库。可以使用pip命令进行安装： ``` pip install segmentation-models-pytorch ``` 在训练之前，我们需要准备好训练数据和标签。通常情况下，训练数据是一些图像，标签则是对应每个像素点的分类或分割结果。 接下来，我们需要导入所需的库： ``` import segmentation_models_pytorch as smp import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, Dataset ``` 然后，我们需要创建一个自定义的数据集类，该类继承自torch.utils.data.Dataset类，并实现__len__和__getitem__方法，用于加载和处理数据。 接着，我们可以选择一个合适的分割模型，比如Unet、FPN等。这些模型可以通过调用smp库中的函数进行初始化，比如： ``` model = smp.Unet( encoder_name="resnet34", encoder_weights="imagenet", classes=1, activation='sigmoid' ) ``` 在这里，我们选择了一个使用ResNet-34作为编码器、预训练权重为ImageNet数据集、分类数为1（二分类问题）的Unet模型。 然后，我们可以定义损失函数和优化器： ``` criterion = nn.BCELoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 接着，我们可以进行训练循环，依次迭代数据进行训练和优化： ``` for epoch in range(num_epochs): for batch in dataloader: inputs, labels = batch optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() ``` 最后，我们可以保存模型并在需要预测时加载模型进行测试： ``` torch.save(model.state_dict(), "segmentation_model.pt") model.load_state_dict(torch.load("segmentation_model.pt")) ``` 以上就是使用segmentation_models_pytorch实现单模型训练的过程。根据具体任务需求，你也可以调整模型、损失函数、优化器等参数来进行更灵活的训练。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术瘾君子1573

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值