如果在使用SDXL模型的时候出现mat1 and mat2 shapes cannot be multiplied报错,则是因为调用的基础大模型与controlnet版本或LORA版本 不匹配导致,如下图
SD15代表基于SD1.5的controlnet或LORA,对应的右边大模型也需要是基于SD1.5的大模型微调版本,如果使用SDXL的微调大模型则会出错。
规则的controlnet和LORA可以通过命名查看基于的微调版本
大模型其实也有迹可循,但还是要在下载的时候多多留意,当然也可以能是其他原因导致,本人水平不足仅作踩坑记率,出现类似错误可以尝试该方法。