python variable shape 不匹配_bert/embeddings/LayerNorm/beta shape不匹配

博客探讨了ALBERT_zh模型与Google ALBERT模型之间的参数和结构差异,包括word embeddings、LayerNorm等部分的维度不一致,导致加载时的形状不匹配问题。由于变量名和处理位置的不同,直接使用Google的ALBERT代码来加载ALBERT_zh模型是不可行的。
摘要由CSDN通过智能技术生成

与google的模型文件对比可以发现它们的参数与模型结构有些许差别,比如:

albert_zh里的albert_large_zh模型参数:

{'bert/embeddings/word_embeddings': [21128, 128],

'bert/embeddings/word_embeddings_2': [128, 1024],

'bert/embeddings/token_type_embeddings': [2, 1024],

'bert/embeddings/position_embeddings': [512, 1024],

'bert/embeddings/LayerNorm/beta': [1024],

'bert/embeddings/LayerNorm/gamma': [1024],

'bert/encoder/layer_shared/attention/self/query/kernel': [1024, 1024],

'bert/encoder/layer_shared/attention/self/query/bias': [1024],

'bert/encoder/layer_shared/attention/self/key/kernel': [1024, 1024],

'bert/encoder/layer_shared/attention/self/key/bias': [1024],

'bert/encoder/layer_shared/attention/self/value/kernel': [1024, 1024],

'bert/encoder/layer_shared/attention/self

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值