- 博客(7)
- 收藏
- 关注
RSS订阅原创 动手学深度学习-李沐（8）
一、dropout丢弃法1、动机一个好的模型需要对输入数据的扰动鲁棒丢弃法：在层之间加入噪音——正则2、方法给定一个概率，一定概率变成0，一定概率使得元素变大期望不发生变化3、使用4、总结丢弃法将一些输出项随机置0来控制模型复杂度常作用在多层感知机的隐藏层输出上丢弃概率来控制模型复杂度的超参数...
2021-12-09 20:50:24
390
原创 动手学深度学习-李沐（7）
一、权重衰退常用的处理过拟合的方法1、使用均方范数作为硬性限制 通过限制参数值的选择范围来控制模型容量 限制w的数值2、使用均方范数作为柔性限制（常用） 补：正则项就是防止损失函数最优导致过拟合，把损失函数的最优点往外拉一拉3、总结权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度正则权重是控制模型负责度的超参数...
2021-12-07 21:13:24
2185
原创 动手学机器学习-李沐（6）
一、感知机输入x(向量)，权重w(向量),偏移b(标量) （感知机的实质是一个二分类的问题，0或1）2、训练感知机3、收敛定理4、感知机存在的问题（1）不能拟合xor问题，只能产生线性的分割面二、多层感知机1、学习xor两个分类器的组合2、sigmoid激活函数将输入投影到（0，1）的空间中去3、Tanh激活函数将输入投影到（-1， 1）4、ReLU激活函数5...
2021-12-06 20:39:16
383
原创 动手学机器学习-李沐（4）
1、线性回归2、线性模型输入：给定n维输入，乘以n维权重和一个标量偏差输出：加权和3、开始神经网络4、补充：平方损失：5、总结：显示解：显示解就是可以用数学方法算出来的表达式解6、对没有显示解的时候就要运用梯度下降的算法 不断更新W0使其更对的接近最优解 右上为二次函数等高图（每个圈是函数值等于固定值的曲线） 补：一个数的正梯度是其上升最快的方向，反之负梯度是其下降最快的方向7...
2021-12-01 19:13:30
243
原创 动手学深度学习-李沐（3）
1、标量的导数2、对于不可导的情况，例如：y=|x|3、将导数拓展到向量标量求导是标量向量求导是向量4、补：上面是向量下面是标量，维度不变 上面是标量下面是向量，维度变化 （标量是一个值，向量是一串值）5、标量、向量求导问题...
2021-11-30 10:47:04
97
原创 动手学深度学习-李沐（2）
1、范数的概念2、对称与反对称Aij = Aji(对称) Aij = -Aji(反对称)3、正定4、正交矩阵5、特征向量不被矩阵改变方向的向量6、标量标量由只有一个元素的张量表示x = torch.tensor([3.0])7、向量向量由标量值组成的列表x = torch.arange(4)...
2021-11-29 22:11:33
99
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人