动手学深度学习pytorch（08-09）

（08）线性回归的从零开始实现

chapter_linear-networks/linear-regression.ipynb

torch.normal()

函数的用法及参数：

torch.normal(means, std, out=None)

返回一个张量，包含从给定参数means,std的离散正态分布中抽取随机数。 均值means是一个张量，包含每个输出元素相关的正态分布的均值。 std是一个张量，包含每个输出元素相关的正态分布的标准差。 均值和标准差的形状不须匹配，但每个张量的元素个数须相同。

参数:

• means (Tensor) – 均值
• std (Tensor) – 标准差
• out (Tensor) – 可选的输出张

torch.matmul()

torch.matmul是tensor的乘法，输入可以是高维的。
当输入都是二维时，就是普通的矩阵乘法，和tensor.mm函数用法相同 

reshape(-1,1)

numpy中reshape函数的三种常见相关用法

reshape(1,-1)转化成1行：

reshape(2,-1)转换成两行：

reshape(-1,1)转换成1列：

reshape(-1,2)转化成两列

-1在前表示行数自动计算，-1在后表示列数自动计算。

yield

python中yield的用法详解——最简单，最清晰的解释_python yield-CSDN博客

功能可以类比一下return，但是不等同于return

Python迭代器的基本方法:iter()、next()

迭代器：

• 迭代器是一个可以记住遍历的位置的对象。
• 迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。

iter()

iter(可迭代对象)

补充：可迭代对象Iterable：

• • 一类是：list、tuple、dict、set、str
  • 二类是：generator（都是Iterator对象），包含生成器和带yield的generator function
    生成器不但可以作用于for，还可以被next函数不断调用并且返回下一个值，可以被next函数不断调用返回下一个值的对象称为迭代器（Iterator）。可迭代的对象如list、dict等需要用iter()函数转化成Iterator。

next()

next(iterator[, default])

iterator --可迭代对象
default --可选，用于设置在没有下一个元素时返回该默认值，如果不设置，又没有下一个元素则会触发 StopIteration 异常。

代码示例：

list_ = [1, 2, 3, 4, 5]
it = iter(list_)
for i in range(5):
    line = next(it)
    print("第%d 行， %s" %(i, line))

输出结果：
第0 行， 1
第1 行， 2
第2 行， 3
第3 行， 4
第4 行， 5

 Sequential

使用torch.nn.Sequential类可以实现简单的顺序连接模型，可以类比成一个容器，我们可以往其中加入各种模型，然后可以依次执行，下面是一个使用实例：

import torch.nn as nn
model = nn.Sequential(
                  nn.Conv2d(1,20,5),
                  nn.ReLU(),
                  nn.Conv2d(20,64,5),
                  nn.ReLU()
                )
 
print(model)
print(model[2]) # 通过索引获取第几个层
'''运行结果为：
Sequential(
  (0): Conv2d(1, 20, kernel_size=(5, 5), stride=(1, 1))
  (1): ReLU()
  (2): Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1))
  (3): ReLU()
)
Conv2d(20, 64, kernel_size=(5, 5), stride=(1, 1))
'''

python中下划线的用法说明

Python 中下划线的 5 种含义 | 菜鸟教程 (runoob.com)

SGD

Stochastic Gradient Descent (SGD)
SGD是最基础的优化方法，普通的训练方法, 需要重复不断的把整套数据放入神经网络NN中训练, 这样消耗的计算资源会很大.当我们使用SGD会把数据拆分后再分批不断放入 NN 中计算. 每次使用批数据, 虽然不能反映整体数据的情况, 不过却很大程度上加速了 NN 的训练过程, 而且也不会丢失太多准确率。

python torch.optim.SGD-CSDN博客

Momentum

Momentum 传统的参数 W 的更新是把原始的 W 累加上一个负的学习率(learning rate) 乘以校正值 (dx). 此方法比较曲折。

我们把这个人从平地上放到了一个斜坡上, 只要他往下坡的方向走一点点, 由于向下的惯性, 他不自觉地就一直往下走, 走的弯路也变少了. 这就是 Momentum 参数更新。

（09）Softmax 回归 + 损失函数 + 图片分类数据集

权重初始化

【pytorch 】nn.init 中实现的初始化函数 normal, Xavier==》为了保证数据的分布（均值方差一致）是一样的，类似BN_nn.init.xavier_normal-CSDN博客

sum()

0，按列相加；1，按行相加