动手学深度学习 task_1

最新推荐文章于 2024-08-26 15:15:28 发布

馒头没有馅儿yolo

最新推荐文章于 2024-08-26 15:15:28 发布

阅读量151

点赞数

文章标签：神经网络 pytorch

本文链接：https://blog.csdn.net/weixin_45448833/article/details/104319238

版权

线性回归

补充欠缺知识点：
- python中yield的讲解 link
- torch.mm(a, b)是矩阵a和b矩阵相乘，比如a的维度是(1, 2)，b的维度是(2, 3)，返回的就是(1, 3)的矩阵
- pytorch中backward()的理解 link
- nn.Sequential的讲解 link
记录所学知识点：
- 尽量使用矢量计算，以提升计算效率。
- 迭代周期个数num_epochs和学习率lr都是超参数，是人为设置的，在实践中，大多超参数都需要通过反复试错来不断调节。

补充欠缺知识点：
- 交叉熵知识点讲解
  link
  link
  link
- 由exp函数延伸的pytorch中基本数学运算：
  link
- gather函数详解 link
- softmax函数与sigmoid函数的关系 link
记录所学知识点：
- 将高和宽分别为hh和ww像素的图像的形状记为h×wh×w或(h，w)
- 参数transform = transforms.ToTensor()使所有数据转换为Tensor，如果不进行转换则返回的是PIL图片。transforms.ToTensor()将尺寸为 (H x W x C) 且数据位于[0, 255]的PIL图片或者数据类型为np.uint8的NumPy数组转换为尺寸为(C x H x W)且数据类型为torch.float32且位于[0.0, 1.0]的Tensor
- 反向传递求梯度要注意梯度清零，避免累增

补充欠缺知识点：
- ReLu激活函数与梯度消失问题
  link
  link
- 激活函数的特性
  1. 连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。
  2. 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。
  3. 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。
记录所学知识点：
- 多层感知机在输出层与输入层之间加入了一个或多个全连接隐藏层，并通过激活函数对隐藏层输出进行变换。
- 常用的激活函数包括ReLU函数、sigmoid函数和tanh函数。

补充欠缺知识点：
- 语言模型评价指标Perplexity link
- detach()函数 link
记录所学知识点：
- RNN与全连接网络的区别：全连接网络：的隐藏层的值只取决于输入的 x。而 RNN 的隐藏层的值 s 不仅仅取决于当前这次的输入 x，还取决于上一次隐藏层的值 s。
- 要把词表达为向量的形式：1.建立一个包含所有词的词典，每个词在词典里面有一个唯一的编号。2.任意一个词都可以用一个N维的one-hot向量来表示。
- 困惑度是对交叉熵损失函数做指数运算后得到的值，我们通常使用困惑度（perplexity）来评价语言模型的好坏

关注