动手学深度学习

资源

李沐动手学电子书
课程安排和PPT
论坛

常见的问题

1. 当sigmoid激活函数的输出⾮常接近于0或1时，这些区域的梯度⼏乎为0，因此反向传播⽆法继续更新⼀些模型参数。（卷积部分 AlexNet 对比LeNet使用relu作为激活函数的原因）

04 数据预处理

makedirs(name [, mode=0o777][, exist_ok=False])

Super-mkdir; create a leaf directory and all intermediate ones. Works
like mkdir, except that any intermediate path segment (not just the
rightmost) will be created if it does not exist. If the target
directory already exists, raise an OSError if exist_ok is False.
Otherwise no exception is raised. This is recursive.

09 Softmax回归

概述：
本质上是一个 分类问题，将逻辑回归这一2分类 一般化，重点在于softmax(output) layer 这一层的表达式， 也就是softmax运算
一个全连接层+softmax运算：

其中关于 结点1 也就是神经元1 的解释： 可以理解为作用是识别class1，即每一个class的识别都需要一个神经元作为输入的特征与真实类别的映射

softmax运算

16 Pytorch神经网络基础

层和块的构建

29 残差网络 ResNet

水一水，又论文？ 实验结果的推理，差异的原因