![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
《动手学深度学习》笔记
文章平均质量分 71
洌泉_就这样吧
Less is more.
展开
-
《动手学深度学习》笔记——优化算法
转载自:https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter07_optimization/7.1_optimization-intro另外,知乎上一篇文章也总结很好,优化算法Optimizer比较和总结优化与深度学习由于优化算法的目标函数通常是一个基于训练数据集的损失函数,优化的目标在于降低训练误差。由于深度学习模型参数通常都是高维的,目标函数的鞍点通常比局部最小值更常见。梯度下降和随机梯度下降使用适当的学习率,沿着梯度反方向更新自变量原创 2021-06-03 15:11:42 · 100 阅读 · 0 评论 -
《动手学深度学习》笔记——应对“过拟合”的方法
过拟合现象即模型的训练误差远小于它在测试集上的误差。虽然增大训练数据集可能会减轻过拟合,但是获取额外的训练数据往往代价高昂。权重衰减权重衰减(weight decay)是应对过拟合问题的常用方法之一,为模型损失函数添加惩罚项使学出的模型参数值较小。权重衰减等价于 L2范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小,是应对过拟合的常用手段。L2范数正则化在模型原损失函数基础上添加L2范数惩罚项,从而得到训练所需要最小化的函数。L2范数惩罚项指的是模转载 2021-06-02 14:20:04 · 140 阅读 · 0 评论 -
《动手学深度学习》笔记——模型选择、欠拟合和过拟合
训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数,例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。让我们以高考为例来直观地解释训练误差和泛化误差这两个概念。训练误差可以认为是做往年高考试题(训练题)转载 2021-06-02 09:35:32 · 163 阅读 · 0 评论 -
《动手学深度学习》笔记——softmax回归
softmax回归模型模型输出可以是一个像图像类别这样的离散值,对于这样的离散值预测问题,可以使用诸如softmax回归在内的分类模型。和线性回归不同,softmax回归的输出单元从一个变成了多个,且引入了softmax运算使输出更适合离散值的预测和训练虽然我们仍然可以使用回归模型来进行建模,并将预测值就近定点化到1、2和3这3个离散值之一,但这种连续值到离散值的转化通常会影响到分类质量。因此我们一般使用更加适合离散值输出的模型来解决分类问题。softmax回归跟线性回归一样将输入特征与权重做线性叠加原创 2021-06-01 14:31:20 · 253 阅读 · 0 评论 -
《动手学深度学习》笔记——线性回归
原文链接:https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter03_DL-basics/3.1_linear-regression概念线性回归输出是一个连续值,因此适用于回归问题。回归问题在实际中很常见,如预测房屋价格、气温、销售额等连续值的问题。与回归问题不同,分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。基本要素房屋价格预测作为例子来原创 2021-06-01 09:52:08 · 129 阅读 · 0 评论 -
《动手学深度学习》笔记——深度学习简介
原文链接: https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter01_DL-intro/deep-learning-intro机器学习与深度学习通俗来说,机器学习是一门讨论各式各样的适用于不同问题的函数形式,以及如何使用数据来有效地获取函数参数具体值的学科。深度学习是指机器学习中的一类函数,它们的形式通常为多层神经网络。近年来,仰仗着大数据集和强大的硬件,深度学习已逐渐成为处理图像、文本语料和声音信号等复杂高维度数据的主要方法。绝大多数神经网络都包含原创 2021-06-01 09:19:35 · 260 阅读 · 1 评论