【个人笔记】windows 安装bitsandbytes，auto-gptq

pip install https://github.com/jllllll/bitsandbytes-windows-webui/raw/main/bitsandbytes-0.39.0-py3-none-any.whl

 aoto-gptq目前好像只支持cuda11.7和11.8。怒...我的cuda11.6重装了(虽然并没有很麻烦)

pip install https://github.com/PanQiWei/AutoGPTQ/releases/download/v0.2.2/auto_gptq-0.2.2+cu118-cp39-cp39-win_amd64.whl

no module named "google"

pip install protobuf==3.19.0

 下面的两个都是Linux安装，未测试windows，linux安装flash attention

ModuleNotFoundError: No module named 'torch._six'

将pytorch版本从1.13.1升级到2.0.1以后出现该问题，可能是由于deepspeed与pytorch的版本不兼容，重新安装试一试

pip uninstall deepspeed
pip install deepspeed

 直接安装模块flash_attn失败和pip install --no-build-isolation flash-attn失败

去github地址下载对应cuda和pytorch版本的flash-attention进行本地安装试试

github地址

比如说我的版本是cuda2.0.1+pytorch11.8，下载好以后进行本地安装

pip install flash_attn-2.0.7+cu118torch2.0cxx11abiFALSE-cp310-cp310-linux_x86_64.whl

 大语言模型训练

使用llama模型进行lora训练时，生成的lora模型非常小(adapter_model.bin文件只有几百B）

解决方法：

把以下代码注释：

old_state_dict = model.state_dict
    model.state_dict = (
        lambda self, *_, **__: get_peft_model_state_dict(self, old_state_dict())
    ).__get__(model, type(model))