调bloom过程记录

克隆模型

git config --system core.longpaths true

SET GIT_CLONE_PROTECTION_ACTIVE=false

然后再下载模型

配置环境

查看项目适配的python版本！此处在环境变量中创建一个Python_Home，然后%%比较方便，以后可以一键修改

使用requirements.txt，安装过程中如果有报错就把那个组件删了单独手动安装

下载cuda、cudnn

命令行输入nvidia-smi，右上角写cuda能支持的最高版本，下载即可，cudnn下载

特殊的（建议遇到报错直接搜）

python infer.py \
    --base_model '../../../../../bloom/bloomz-7b1' \
    --lora_weights './data/' \
    --use_lora True \
    --instruct_dir './data/infer.json' \
    --device_map 'auto'\
    --prompt_template 'med_template'

AutoModelForCausalLM.from_pretrained方法中加入参数

offload_folder="offload_folder"

最终遇到out of memory说明调好了，但是机器性能不够，运行不了