starcoder2_pytorch代码生成模型

于 2024-07-15 08:35:04 发布
阅读量321 收藏 3
点赞数 4
分类专栏： 人工智能&深度学习&机器学习 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27815483/article/details/140291602
版权

StarCoder2

StarCoder2模型是一系列3B、7B和15B模型，使用来自Stack-v2数据集的3.3 至4.3万亿个代码标记进行训练，包含600多种编程语言。

论文

StarCoder 2 and The Stack v2: The Next Generation
StarCoder2

模型结构

StarCoder2的模型结构主要基于StarCoderBase模型架构进行了微小的改动，首先使用RoPE旋转位置编码。其次使用了GQA模块替换了MQA模块。

算法原理

使用GQA模块能够带来更好的速度，使用GQA的head数量不同则会带来速度和性能平衡转换
使用了RoPE位置旋转编码来替代Embedding编码，使得模型获得更好的外推性。

环境配置

-v 路径、docker_name和imageID根据实际情况修改

Docker（方法一）

docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=80G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash

cd /your_code_path/starcoder2_pytorch
pip install -r requirements.txt  -i http://mirrors.huaweicloud.com/repository/pypi/simple
export HF_ENDPOINT=https://hf-mirror.com

Dockerfile（方法二）

cd docker
docker build --no-cache -t starcoder2:latest .
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=80G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash

cd /your_code_path/starcoder2_pytorch
pip install -r requirements.txt  -i http://mirrors.huaweicloud.com/repository/pypi/simple
export HF_ENDPOINT=https://hf-mirror.com

Anaconda（方法三）

关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装。

DTK驱动: dtk24.04
python: python3.10
torch: 2.1.0

Tips：以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应

其它非深度学习库安装方式如下：

pip install -r requirements.txt  -i http://mirrors.huaweicloud.com/repository/pypi/simple
export HF_ENDPOINT=https://hf-mirror.com

数据集

finetune训练样例数据采用bigcode/the-stack-smol 下的子集/data/rust 下载地址

├── data                                                                                                                            
│   ├── assembly                                                                                                                     
│   │   └── data.json
│   ├── rust                                                                                          
│   │   └── data.json  
......

训练

单机两卡

具体参数更改请在train.sh文件中进行,以下为必要参数
dataset_name="{数据集地址}"
model_name="{预训练模型加载地址}"

bash ./train.sh

推理

基于Huggingface's Transformers进行推理.
预训练权重快速下载中心:SCNet AIModels ,项目中的预训练权下载地址starcoder2-7b
starcoder2-7b官方权重 默认需存放至weights文件夹中
也可自行更改 inference.py文件中的 model_name 参数

HIP_VISIBLE_DEVICES=0 python inference.py

Result

prompt：def print_hello_world():",
result：

精度

训练集bigcode/the-stack-smol/data/rust

devicetrain_losssteps
A800*21.2758100
K100*21.2772100

应用场景

算法类别

代码生成

热点应用行业

制造,能源,教育

预训练权重

模型目录结构如下：

# starcoder2-7b/
├── config.json                                                                                           
├── generation_config.json                                                                                
├── merges.txt                                                                                            
├── model-00001-of-00003.safetensors                                                                      
├── model-00002-of-00003.safetensors                                                                      
├── model-00003-of-00003.safetensors                                                                      
├── model.safetensors.index.json                                                                          
├── README.md                                                                                             
├── special_tokens_map.json                                                                               
├── tokenizer_config.json                                                                                 
├── tokenizer.json                                                                                        
└── vocab.json

源码仓库及问题反馈

参考资料

技术瘾君子1573
关注
  • 4
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ic-light_pytorch AIGC算法模型
qq_27815483的博客
07-15 540
IC-Light 是一个对图像光照进行处理的项目，该项目发布了两个模型 一个是根据文本描述重新生成背景和光照图片，一个是基于背景光照生成光照图片。
本地部署多语言代码生成模型CodeGeeX2
Python，数据分析，机器学习，深度学习
10-11 3961
CodeGeeX2 是多语言代码生成模型CodeGeeXKDD’23) 的第二代模型。CodeGeeX2 基于ChatGLM2架构加入代码预训练实现，得益于 ChatGLM2 的更优性能，CodeGeeX2 在多项指标上取得性能提升（+107% > CodeGeeX；更强大的代码能力：基于 ChatGLM2-6B 基座语言模型，CodeGeeX2-6B 进一步经过了 600B 代码数据预训练，相比一代模型，在代码能力上全面提升，
论文干货 | 首篇代码生成大模型综述
qq_45832461的博客
11-17 2176
全网首篇最全面透彻的代码生成大模型论文综述的详解。分享一篇来自上海交通大学的最新代码生成大模型的论文综述。系统回顾了使用语言模型处理代码的最新进展，涵盖 50 多种模型、30 多种评估任务和 500 多项相关工作。将代码处理模型分为以 GPT 系列为代表的通用语言模型和根据特定目标对代码进行预训练的专用模型。讨论代码建模从统计模型和 RNN 到预训练 Transformers 和 LLM 的历史过渡，这与 NLP 的发展历程类似。
StarCoder - 源代码大模型
新缸中之脑
05-08 4057
StarCoder 是一种在源代码和自然语言文本上训练的语言模型 (LM)。它的训练数据包含 80 多种不同的编程语言以及从 github 问题和提交以及笔记本中提取的文本。StarCoder 是在 github 代码上训练的，因此它可以用来执行代码生成。更准确地说，模型可以完成一个功能的实现，或者在一行代码中推断出后面的字符。这可以在 hugging faces 的transformers库的帮助下完成。推荐：用快速搭建可编程3D场景。
d2lzh_pytorch.zip
03-03
d2lzh_pytorch库的特色在于其面向学习的设计，不仅涵盖了PyTorch的基本操作，还可能深入到深度学习的各种主题，如卷积神经网络（CNN）、循环神经网络（RNN）、变分自编码器（VAE）、生成对抗网络（GAN）等。...
d2lzh_pytorch包【下载即可用】
07-12
d2lzh_pytorch包就是基于PyTorch构建的，旨在帮助读者理解和应用深度学习的关键概念，包括但不限于神经网络、卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）、注意力机制、自编码器、生成对抗...
d2lzh_pytorch_深度学习_pytorch_d2lzh_pytorch下载_deeplearning_d2lzh_py
09-11
通过阅读"D2LZH PyTorch"教程，读者将能够熟练掌握PyTorch的基本用法，理解深度学习的核心概念，并具备使用PyTorch进行模型开发和优化的能力。对于希望在深度学习领域深化研究或者从事相关工作的学习者来说，这是一...
chinese_wwm_ext_pytorch.zip
09-21
标题 "chinese_wwm_ext_pytorch.zip" 提供了一个关于预训练模型的特定版本，即哈工大（哈尔滨工业大学）发布的BERT模型的WWM-EXT版本，且该模型是用PyTorch实现的。这一模型是自然语言处理领域的重要资源，特别针对...
chinese_wwm_pytorch
01-26
该资源搬运自https://github.com/ymcui/Chinese-BERT-wwm#%E4%B8%AD%E6%96%87%E6%A8%A1%E5%9E%8B%E4%B8%8B%E8%BD%BD 因为Github下载速度较慢，于是搬运到CSDN供大家使用，如果侵权，请及时告知删除。
驾驶的未来：Transformer模型在智能辅助驾驶的革命性应用
2402_85758936的博客
07-11 495
Transformer模型，以其在处理序列数据方面的强大能力，为智能辅助驾驶领域带来了新的解决方案。Transformer模型在智能辅助驾驶中的应用前景广阔，从感知系统的物体检测和语义分割，到决策制定中的行为预测，再到传感器融合中的数据整合，Transformer模型提供了强大的数据处理能力。随着技术的不断进步和数据的积累，我们期待Transformer模型在智能辅助驾驶领域带来更多创新和突破。智能辅助驾驶是一个高度专业化的领域，涉及汽车工程、计算机视觉、机器学习等多个学科的知识，需要跨学科的合作和创新。
使用requirements.txt文件安装cuda（GPU）版本的pytorch
EstrangedZ的博客
07-14 256
使用requirements.txt和pip install -r requirements.txt 的方法安装cuda版本的pytorch
LPRNet 车牌识别部署 rk3588（pt-onnx-rknn）包含各个步骤完整代码
zhangqian_1的博客
07-11 438
虽然车牌识别技术很成熟了，但完全没有接触过。一直想搞一下、整一下、试一下、折腾一下，工作之余找了一个简单的例子入个门。本博客简单记录一下 LPRNet 车牌识别部署 rk3588流程，训练参考 LPRNet 官方代码。1、导出onnx导出onnx很容易，在推理时加入保存onnx代码，但用onnx推理时发现推理识别，有算子onnx推理时不支持，看了一下不支持的操作 nn.MaxPool3d() ，查了一下资料有等价的方法，用等价方法替换后推理结果是一致的。保存onnx代码。
windows中超详细深度学习环境配置之安装显卡驱动、cuda、cudnn、pytorch、torchvision、pycharm
qq_15060477的博客
07-11 695
安装完成后，可以按win+r键盘，输入cmd回车，弹出如下所示终端，输入nvidia-smi，若显示如下，则说明驱动已经安装好了。我可以装的最高版本是12.5，我下载12.1.0版本的cuda（主要是为了能下载到对应版本的pytorch，版本太高，对应pytorch都很难下载到哦）双击所下载的cuda安装包，然后选择安装的目录，本人默认，然后单击OK，接着一路的选择如以下图所示，按照顺序依次走完就安装完成了。安装cuda时，注意版本对应问题，下图中的1表示你可以安装的cuda的最高版本。
Transformer——多头注意力机制（Pytorch）
m0_52507142的博客
07-11 290
【代码】Transformer——多头注意力机制（Pytorch）
深度学习-4-PyTorch中的数据加载器Dataset和DataLoader
最新发布
qq_20466211的博客
07-14 214
PyTorch中的数据加载器的制作，针对大量数据进行分批加载训练模型
交叉熵损失函数的使用目的（很肤浅的理解）
m0_53291740的博客
07-10 473
传进去的是(3,5)维度的数据，其中3可以代表有3个图片（数据）,5代表有5中类别（0，1，2，3，4这几类）。[ 0.1087, -0.4276, 0.9313, -1.0140, 2.1229]表示预测的是。·····第一个图是第一类的概率是 -0.4276（负数无所谓，举的例子是随机的嘛）是预测值的概率更加接近真实值，让那些真实值对于的概率的类别更加大。····第一个图是第一类的概率是 0.1087。----第一行的第3个值。----第二行的第4个值。----第3行的第2个值。
pytorch说明
2302_80644606的博客
07-10 1068
自动求导机制，扩展torch，CUDA语义，多进程，序列化的笔记总结
【Pytorch】Conda环境下载慢换源/删源/恢复默认源
Loi_Chairmanの博客
07-11 1205
随着实验增多，需要分割创建环境的情况时有出现，在此情况下使用conda create --name xx python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y这样的指令创建时如果不换源不翻墙，往往下载速度很慢，甚至于报错CondaHTTPError: HTTP 000 CONNECTION FAILED for url之类的情况。如果想腾讯云（下载速度快！嘛，如果对您有帮助的话就开心的复制吧，整理不易转载请注明qwq！
使用segmentation_models_pytorch实现单模型训练
09-24
### 回答1： segmentation_models_pytorch 是一个基于 PyTorch 的图像分割库，可以用来训练语义分割模型。下面是使用 segmentation_models_pytorch 实现单模型训练的基本步骤： 1. 安装 segmentation_models_pytorch 和其依赖项： ``` pip install segmentation-models-pytorch ``` 2. 加载数据集并进行预处理。可以使用 torchvision 或者其他图像处理库加载数据集，并对数据进行预处理，如裁剪、缩放、归一化等操作。 3. 定义模型。使用 segmentation_models_pytorch 中提供的模型类（如 UNet、FPN、PSPNet 等）来定义模型。 ```python import segmentation_models_pytorch as smp model = smp.Unet( encoder_name="resnet34", # 使用 ResNet34 作为编码器 encoder_weights="imagenet", # 加载预训练权重 in_channels=3, # 输入通道数 classes=2, # 分类数 ) ``` 4. 定义损失函数和优化器。可以选择使用交叉熵损失函数和 Adam 优化器。 ```python import torch.nn as nn import torch.optim as optim criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 5. 训练模型。使用 DataLoader 加载数据集，并对模型进行训练。 ```python from torch.utils.data import DataLoader train_loader = DataLoader(dataset, batch_size=4, shuffle=True) for epoch in range(num_epochs): running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, labels = data optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() print(f"Epoch {epoch+1}, Loss: {running_loss/len(train_loader)}") ``` 6. 保存模型。训练完毕后，可以使用 torch.save() 方法将模型保存到本地。 ```python torch.save(model.state_dict(), "model.pth") ``` ### 回答2： segmentation_models_pytorch是一个基于PyTorch实现的语义分割模型库。使用segmentation_models_pytorch实现单模型训练可以通过以下步骤完成。 首先，安装segmentation_models_pytorch库。可以通过pip install segmentation_models_pytorch命令来安装。 导入所需的库和模型。常用的库包括torch，torchvision和segmentation_models_pytorch。可以使用以下命令导入库： ```python import torch import torchvision.transforms as transforms import segmentation_models_pytorch as smp ``` 加载和预处理训练数据。可以使用torchvision中的transforms来定义一系列的数据预处理操作，例如裁剪、缩放和标准化等。之后，使用torch.utils.data.DataLoader来加载和批量处理数据。 定义模型架构。可以选择使用segmentation_models_pytorch中预定义的模型架构，例如UNet、PSPNet和DeepLab等。根据任务需求选择合适的模型，并初始化相关参数。 定义优化器和损失函数。常见的优化器有Adam和SGD等，损失函数常选择交叉熵损失函数。可以使用torch.optim中的函数来定义优化器，使用torch.nn中的损失函数来定义损失函数。 进行模型训练。使用torch.utils.data.DataLoader加载训练数据集，并迭代训练数据集中的每个批次。将批次数据输入模型中进行前向传播，获取模型的输出。计算损失，并进行反向传播更新模型的参数。重复以上步骤直到达到预定的训练轮数或达到设定的训练目标。 保存和加载训练好的模型。可以使用torch.save函数将训练好的模型保存到指定的文件路径，使用torch.load函数加载保存的模型文件。 以上是使用segmentation_models_pytorch实现单模型训练的基本步骤。根据具体任务和数据的不同，可能还需要进行一些细节操作，例如数据增强、学习率调整和模型评估等。 ### 回答3： segmentation_models_pytorch是一个基于PyTorch的分割模型训练库，可以应用于图像分割任务。下面我将介绍如何使用segmentation_models_pytorch实现单模型训练。 首先，我们需要安装segmentation_models_pytorch库。可以使用pip命令进行安装： ``` pip install segmentation-models-pytorch ``` 在训练之前，我们需要准备好训练数据和标签。通常情况下，训练数据是一些图像，标签则是对应每个像素点的分类或分割结果。 接下来，我们需要导入所需的库： ``` import segmentation_models_pytorch as smp import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, Dataset ``` 然后，我们需要创建一个自定义的数据集类，该类继承自torch.utils.data.Dataset类，并实现__len__和__getitem__方法，用于加载和处理数据。 接着，我们可以选择一个合适的分割模型，比如Unet、FPN等。这些模型可以通过调用smp库中的函数进行初始化，比如： ``` model = smp.Unet( encoder_name="resnet34", encoder_weights="imagenet", classes=1, activation='sigmoid' ) ``` 在这里，我们选择了一个使用ResNet-34作为编码器、预训练权重为ImageNet数据集、分类数为1（二分类问题）的Unet模型。 然后，我们可以定义损失函数和优化器： ``` criterion = nn.BCELoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 接着，我们可以进行训练循环，依次迭代数据进行训练和优化： ``` for epoch in range(num_epochs): for batch in dataloader: inputs, labels = batch optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() ``` 最后，我们可以保存模型并在需要预测时加载模型进行测试： ``` torch.save(model.state_dict(), "segmentation_model.pt") model.load_state_dict(torch.load("segmentation_model.pt")) ``` 以上就是使用segmentation_models_pytorch实现单模型训练的过程。根据具体任务需求，你也可以调整模型、损失函数、优化器等参数来进行更灵活的训练。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术瘾君子1573

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值