StarCoder - 源代码大模型

StarCoder 是一种在源代码和自然语言文本上训练的语言模型 (LM)。 它的训练数据包含 80 多种不同的编程语言以及从 github 问题和提交以及笔记本中提取的文本。

StarCoder 是在 github 代码上训练的，因此它可以用来执行代码生成。 更准确地说，模型可以完成一个功能的实现，或者在一行代码中推断出后面的字符。 这可以在 hugging faces 的transformers库的帮助下完成。

推荐：用 NSDT设计器 快速搭建可编程3D场景。

1、StarCoder快速上手

首先，我们必须安装 requirements.txt 中列出的所有库：

pip install -r requirements.txt

StarCoder代码生成流水线如下：

from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "bigcode/starcoder"
device = "cuda" # for GPU usage or "cpu" for CPU usage

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)

inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

或：

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
checkpoint = "bigcode/starcoder"

model = AutoModelForCausalLM.from_pretrained(checkpoint)
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)
print( pipe("def hello():") )

StarCoder文本生成推理命令如下：

docker run --gpus '"device:0"' -p 8080:80 -v $PWD/data:/data -e HUGGING_FACE_HUB_TOKEN=<YOUR BIGCODE ENABLED TOKEN> -e HF_HUB_ENABLE_HF_TRANSFER=0 -d  ghcr.io/huggingface/text-generation-inference:sha-880a76e --model-id bigcode/starcoder --max-total-tokens 8192

有关详细信息，请参阅此处。

2、StarCoder微调

在这里，我们展示了如何针对特定的下游任务微调此 LM。

首先新建conda环境并激活：

conda create -n env
conda activate env

从此处安装与你的 cuda 版本兼容的 pytorch 版本，以下命令适用于 cuda 11.6：

conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia

安装transformers和peft库：

conda install -c huggingface transformers 
pip install git+https://github.com/huggingface/peft.git

请注意，你可以使用如下命令安装最新稳定版本的transformers库：

pip install git+https://github.com/huggingface/transformers

安装数据集、加速器和huggingface_hub：

conda install -c huggingface -c conda-forge datasets
conda install -c conda-forge accelerate
conda install -c conda-forge huggingface_hub

最后，安装 bitsandbytes 和 wandb库：

pip install bitsandbytes
pip install wandb

要获得带有描述的完整参数列表，你可以在任何脚本上运行以下命令：

python scripts/some_script.py --help

在运行任何脚本之前，请确保你已登录并且可以推送到hub：

huggingface-cli login

确保你已登录 wandb：

wandb login

现在一切都完成了，你可以克隆存储库并进入相应的目录。

2.1 数据集

StarCoder 可以微调来实现多个下游任务。 我们在这里的兴趣是微调 StarCoder 以使其遵循指令。 指令微调最近引起了很多关注，因为它提出了一个简单的框架，可以教授语言模型使其输出与人类需求保持一致。 该过程需要质量指令数据集的可用性，其中包含多个指令 - 答案对。 不幸的是，这样的数据集并不普遍，但多亏了 Hugging Face🤗 的数据集库，我们可以访问一些很好的代理。 为了廉价高效地进行微调，我们使用了 Hugging Face🤗 的 PEFT 以及 Tim Dettmers 的 bitsandbytes。

Stack Exchange 是一个知名的问答网站网络，涉及不同领域的主题。 这是一个用户可以提出问题并从其他用户那里获得答案的地方。 这些答案根据其质量进行评分和排名。 Stack exchange instructions 是一个数据集，它是通过抓取网站获得的，目的是建立一个问答对的集合。 然后可以在该数据集上微调语言模型，使其产生强大而多样的问答技能。

要执行微调脚本，请运行以下命令：

python finetune/finetune.py \
  --model_path="bigcode/starcoder"\
  --dataset_name="ArmelR/stack-exchange-instruction"\
  --subset="data/finetune"\
  --split="train"\
  --size_valid_set 10000\
  --streaming\
  --seq_length 2048\
  --max_steps 1000\
  --batch_size 1\
  --input_column_name="question"\
  --output_column_name="response"\ 
  --gradient_accumulation_steps 16\
  --learning_rate 1e-4\
  --lr_scheduler_type="cosine"\
  --num_warmup_steps 100\
  --weight_decay 0.05\
  --output_dir="./checkpoints" \

使用流式传输时，SE 数据集的大小更易于管理。 我们还必须精确划分所使用的数据集。 有关详细信息，请查看 🤗 上的数据集页面。 同样，我们可以修改命令以说明 GPU 的可用性：

python -m torch.distributed.launch \
  --nproc_per_node number_of_gpus finetune/finetune.py \
  --model_path="bigcode/starcoder"\
  --dataset_name="ArmelR/stack-exchange-instruction"\
  --subset="data/finetune"\
  --split="train"\
  --size_valid_set 10000\
  --streaming \
  --seq_length 2048\
  --max_steps 1000\
  --batch_size 1\
  --input_column_name="question"\
  --output_column_name="response"\ 
  --gradient_accumulation_steps 16\
  --learning_rate 1e-4\
  --lr_scheduler_type="cosine"\
  --num_warmup_steps 100\
  --weight_decay 0.05\
  --output_dir="./checkpoints" \

2.2 合并 PEFT 适配层

如果使用 PEFT 训练模型，并且要运行推理/评估，则需要将适配器层与基础模型合并。 为此，请运行：

python finetune/merge_peft_adapters.py --model_name_or_path model_to_merge --peft_model_path model_checkpoint


# Push merged model to the Hub
python finetune/merge_peft_adapters.py --model_name_or_path model_to_merge --peft_model_path model_checkpoint --push_to_hub

例如：

python finetune/merge_peft_adapters.py --model_name_or_path bigcode/starcoder --peft_model_path checkpoints/checkpoint-1000 --push_to_hub

---

原文链接：StarCoder - BimAnt