深度学习与相应框架
深度学习理论与相关框架主要以pytorch为主,可能带有部分keras
短迪大魔王
这个作者很懒,什么都没留下…
展开
-
对抗学习
对抗学习 主体内容参考 再embending上加入一个扰动,满足扰动最大但是求解的loss还是最小。其中扰动最大在函数外部做好了,认为沿着梯度上升的方向是扰动最大方向。因为梯度下降是最好的,那上升就是破坏最严重的。 先去改变了embending的值,方法是embending+梯度上升。最后更新的时候恢复embending的值data。让正常的参数的梯度加上扰动的参数梯度。等效于加入扰动。 对pytorch训练模型三部必须操作理解更深刻。参考, loss.backward()仅仅是求解梯度。原创 2020-11-09 15:38:10 · 217 阅读 · 0 评论 -
pytorch
torch.mean() mean()函数的参数:dim=0,按列求平均值,返回的形状是(1,列数);dim=1,按行求平均值,返回的形状是(行数,1),默认不设置dim的时候,返回的是所有元素的平均值。 tmp = tensor([0., 1., 2., 3., 4.]) #对列做,现在就是一行。 torch.mean(tmp,axis = 0) #等价于 torch.mean(tmp) ...原创 2020-11-06 10:14:20 · 124 阅读 · 0 评论