代码的坑
今天学习算法了吗
这个作者很懒,什么都没留下…
展开
-
【代码的坑】模型参数是否可以反向传播
1. 虽然loss没有报错,但是我比较重要的部分代码不是可训练的,没有保存到模型的计算图中。初始化:保存中间变量的梯度:最后打印保存的梯度:结果就是[],说明我的这个参数并没有参与到计算图中,问题出在:这是我的代码,但是就是太像是用算法去解决这个问题,而不是神经网络,就很容易参数就不能反向传播。感觉神经网络主要是embedding在里面传,所以我就把类别转成embedding信息,然后就可以通过相似度计算等间接实现以上代码。2. 我这里面涉及到概率,但是你不.原创 2022-01-06 23:53:31 · 1051 阅读 · 0 评论 -
windows下查看服务器的tensorboard产生的图片
我们可能在训练神经网络的时候,想要将其loss以可视化的形式显式出来,所以用到tensorboard。 首先使用SummaryWriter函数记录产生的值。以下是一个示例,我记录了两种数据,分别对应两幅图。 from tensorboardX import SummaryWriter writer = SummaryWriter('plog') writer.add_scalar('loss/tra...原创 2021-12-21 11:52:26 · 605 阅读 · 0 评论 -
解决加载文件遇到str和bytes转换问题
1. 前情:当我从.h5文件中读取text的时候,发现里面的字符串表现形式都是这样的:b"so, i have been to ```"前面都有个b???然后更懵的是看着都是一个个str组成的呀,但是当我是用data[i]想要读取其中一个单词的时候,返回的是int类型的数据。2. 原因: 1)前面的b提示当前数据是bytes类型而非str类型,在python3中对两者是进行了区分的。 2)一般在保存文件的...原创 2021-11-08 16:34:09 · 545 阅读 · 1 评论 -
解决nohup使用print无输出问题
1. 我们经常会使用nohup后台挂起程序,比如nohup python main.py & 默认输出为nohup.out文件或者定义输出文件为ans.lognohup python main.py >ans.log 2>&1 &2. 但是有一天我突然发现ans.log中啥也没有,程序中要求print的输出也没有。nohup python -u main.py >ans.log 2>&1 &即可让程序直接将输出放...原创 2021-11-08 16:24:32 · 5709 阅读 · 5 评论 -
使用GPU运行代码巨慢,或许是tqdm的锅
现象:我在跑transformer模型的时候,模型跑的很慢,而且可能第一次运行能跑一个batch然后卡了。第二次运行连第一个batch都没跑就卡了。 尝试过程:看了模型和参数都是在GPU上,而且使用 top 命令也不是因为CPU占满。 结果:发现罪魁祸首竟然是tqdm:换成模型就开始在GPU上欢快的运行起来啦...原创 2021-11-05 12:18:11 · 2436 阅读 · 4 评论