常用工程技术积累-（5）

神经网络的logits

参考资料1
logits就是最终的全连接层的输出(在未经过softmax之前的，就是未归一化的概率)

Pytorch踩坑记：赋值、浅拷贝、深拷贝三者的区别以及model.state_dict()和model.load_state_dict()的坑点

参考链接2
对python直接赋值、浅拷贝和深度拷贝也要了解

python中view和pytorch的view和view_as

参考资料3

pytorch保存模型

python三元表达式

i = 5 if a > 7 else 0

SGD优化器理论理解

以pytorch的torch.optim.SGD(params,
lr=,
momentum=0,
dampening=0,
weight_decay=0,
nesterov=False)
为例进行解释

Optimizer.zero_grad()让w的偏导数为0；下面代码的注释可以好好理解

Momentum作用

超参数momentum与weight-decay作用
参考资料5

git切换branch进行git push

参考资料6
git branch查看当前分支
git checkout 分支名：切换分支（已有分支）

python中如何连接两个生成器

参考资料7
通过chain()函数
from itertools import chain

pytorch实现不同网络层分配不同的学习率

参考资料8

python yield p

参考链接9