1. 终于完成了一个模型裁剪(很简单的)-微调(lora,速度据说为全量的1/8)-推理-评测。其实并没有想象中那么难,一切都是可以入手的,没有人一开始什么都会的。
2. huggingface加载模型问题可以改配置
3. 尝试修改参数size,报错😭。并且添加Ignore mismatched size=True 没有用(可能没找对地方),明天仔细阅读Transformers的modelling_ utils.py 和 torch.nn里面的module.py😭架构好复杂,代码好长,心累。
4. 仅修改加载后的statedict,不能和config保持一致的话,还是会报错。