![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
动手学深度学习pytorch版
文章平均质量分 51
王三省的读研日记
从零学习深度学习+计算机视觉
展开
-
深度学习算法——丢弃法
动机正则可以使得权重不会太大,可以避免过拟合的方法。丢弃法不是在输入的时候加入噪音,而是在层与层之间加入噪音。丢弃法实质上是一个正则的过程。无偏差的加入噪音要求:虽然加入了噪音,但是不能改变期望值。(平均值不收到影响。)给定概率p,在p的概率下,把原始数据变成0,剩下的概率 除以1-p,值变大(0<p<1)。使得最终期望值保持不变。 证明过程:所得结果还是使用丢弃法:通常将丢弃法作用在隐藏全连接层的输出上简单理解:第一个隐含层 输...原创 2022-01-28 20:25:07 · 739 阅读 · 0 评论 -
softmax回归-原理理解
softmax回归原创 2022-01-23 23:18:50 · 373 阅读 · 0 评论 -
权重衰退问题
权重衰退 是最常用的处理过拟合的一种方法如何控制模型的容量,1. 参数个数,2. 参数值的范围。权重衰退就是通过控制值的范围来控制模型容量。硬性限制:优化最小化的损失函数。L(w,b) L指的是损失函数, w(权重)和b(偏移) 分别代表参数同时加入一个限制 ,subject to 使得w每个项的平方和小于等于一个值。可以保证w的每个值不会太大。使用均方范数作为柔性限制。柔性限制:通过将损失函数里的限制条件去掉,但是增加了一个阀当 =0 的时候相当于上面的原创 2022-01-23 23:18:33 · 2276 阅读 · 1 评论 -
模型选择+过拟合和欠拟合
目录模型选择训练误差和泛化误差k-折交叉验证总结:过拟合和欠拟合模型容量:模型容量的影响估计模型容量VC维总结:模型选择训练误差和泛化误差简单理解:验证数据集没有参加训练,所以可以在一定程度上反映超参数的好坏。训练误差 --->测试数据集泛化误差 --->验证数据集不要把测试集和验证集混用。k-折交叉验证简单理解:把一个数据集分成k块,第i块作为验证数据集,其余作为训练数据集。重复k次,...原创 2022-01-23 20:00:00 · 484 阅读 · 0 评论 -
多层感知机
目录概念单隐藏层为什么需要非线性激活函数?Sigmoid激活函数Tanh激活函数ReLU 激活函数多类问题多隐藏层总结概念感知机不能解决上文中提到的XOR问题,所以提出了多层感知机的概念。简单理解:对于蓝色的线,左边为+,右边为负。对于黄色的线,上边为+,下边为-。总的结果来做异或运算,得到最终结果。单隐藏层输入为x1,x2,x3,x4隐藏层 由于输入层和输出层的大小固定,所以唯一能改变的就是设置隐藏层的大小。输出...原创 2022-01-20 18:30:07 · 542 阅读 · 0 评论 -
感知机问题
目录1. 感知机定义:2. 具体算法:我的理解:3. 收敛定理:我的理解:4. 感知机存在的问题我的理解:5. 总结:1. 感知机定义:给定输入x 权重w 偏移量 b 感知机输出为: 其中 感知机实际上是一个二分类问题,输出为:-1 (0)或1与线性回归的区别:线性回归是一个实际上的实数,这里是一个离散的类。与softmax的区别:softmax 如果有n个类,softmax 会有n个输出,输出每个元素的概率。2. 具体算法:我.原创 2022-01-20 17:16:04 · 581 阅读 · 0 评论 -
softmax回归-损失函数
softmax回归——损失函数原创 2022-01-15 12:22:23 · 738 阅读 · 0 评论