将tensorflow模型转换为pytorch模型

这篇博客介绍了如何将TensorFlow模型转换为PyTorch模型,提到了在转换过程中遇到的AttributeError问题,并提供了两种解决方案:一种是参考lrizzello在Stack Overflow上的回答,另一种是yzhang123的建议,但直接修改assert可能会遗漏重要处理。文章还强调了转换成功后需要更新config.json文件,添加model_type字段。
摘要由CSDN通过智能技术生成

关于如何将tensorflow模型转换为pytorch模型,https://www.cnblogs.com/cxq1126/p/14277134.html这个帖子讲的方法可以参考,不过会报错:AttributeError: ‘BertForPreTraining’ object has no attribute ‘shape’
解决方法可以参考:https://stackoverflow.com/questions/30077534/importerror-cannot-import-name-unwrap
lrizzello commented on 24 Jul 2020的方法说的是如何实现convert_tf_checkpoint_to_pytorch,里面有不少代码值得借鉴,在transformer 4.9.1中,需要重点修改的函数是load_tf_weights_in_bert,这两个函数有很多地方的逻辑是一样的。

yzhang123 commented on 8 Apr 2020的方法是忽略掉assert pointer.shape == array.shape,将except中的raise修改为pass。不过直接这样修改解决不了问题,会逃避掉很多必须要处理的问题。我的做法是将相关代码段修改为:

		if 'shape'<
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AlphaFinance

您的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
>