出现此问题是因为:
pos_embed与image_embed对应不上导致的,比如图片嵌入是1025,而位置嵌入却是3137。因此张量没法拼接。
之所以会不一样,是因为配置文件中改动了图片裁剪的大小,原裁剪大小是896*896,896/16=56
所以bucket_size=56, pos_embed[0]是 56*56-1=3137。
修改:
配置文件中,如果你的图片裁剪是512*512,那么bucket_size=512/16=32
正确就是 bucket_size=32
出现此问题是因为:
pos_embed与image_embed对应不上导致的,比如图片嵌入是1025,而位置嵌入却是3137。因此张量没法拼接。
之所以会不一样,是因为配置文件中改动了图片裁剪的大小,原裁剪大小是896*896,896/16=56
所以bucket_size=56, pos_embed[0]是 56*56-1=3137。
修改:
配置文件中,如果你的图片裁剪是512*512,那么bucket_size=512/16=32
正确就是 bucket_size=32