动手深度学习
文章平均质量分 55
动手深度学习课程笔记
CarmenHu
这个作者很懒,什么都没留下…
展开
-
《动手深度学习》权重衰退与丢弃法
1、一个好的模型需要对输入数据的扰动鲁棒,使用有噪音的数据等价于Tikhonov正则,不同于在输入数据中加噪音,丢弃法是在层之间加入噪音。在推理过程中,丢弃法直接返回输入h=dropout(h),这样也能保证确定性的输出。4、权重衰退通过L2正则项使得模型参数不会过大,从而控制模型复杂度。5、丢弃法将一些输出项随机置0来控制模型复杂度。正则项只在训练中使用:他们影响模型参数的更新。3、通常将丢弃法作用在隐藏全连接层的输出上。正则项权重控制模型复杂度的超参数。丢弃概率是控制模型复杂度的超参数。原创 2024-02-18 22:11:59 · 180 阅读 · 0 评论 -
《动手深度学习》数据操作+数据预处理
5、即使形状不同,也可以通过广播机制来执行按元素操作。a、b都变为(3,2)dim表示维度,dim=0按行拼接,dim=1按列拼接。8、x = x + y,x更新后地址改变;x += y,x的原地操作。2.调用reshape函数,改变张量的形状,而不改变元素数量和元素值。1.通过张量的shape属性来访问张量的形状和张量中元素的总数。x[1:3, :]表示(第一、二行,全部列)的元素。3、标准运算+、-、*、/、**、exp()7、将大小为1的张量转变为python的标量。6、转为Numpy张量。原创 2024-02-01 22:45:48 · 123 阅读 · 1 评论 -
《动手深度学习》矩阵计算与自动求导
深度学习框架可以自动计算导数:我们首先将梯度附加到想要对其计算偏导数的变量上,然后记录目标值的计算,执行它的反向传播函数,并访问得到的梯度。y.backward() //反向传播函数。1、偏导数(形状很重要)1、自动求导两种模式。原创 2024-02-03 21:59:26 · 209 阅读 · 1 评论 -
《动手深度学习》模型选择与过拟合欠拟合
验证数据集:一个用来评估模型好坏的数据集,用来选择模型超参数,不要跟训练数据混在一起。给定一个模型种类,将有两个主要因素:参数的个数,参数值的选择范围。3、k折交叉验证:在没有足够多数据时使用,常用k=5或10。1、训练误差:模型在训练数据上的误差。高容量的模型可以记住所有的训练数据。泛化误差:模型在新数据上的误差。低容量的模型难以拟合训练数据;2、训练数据集:训练模型参数。测试数据集:只用一次的数据集。难以在不同的种类算法之间比较。3、三阶多项式拟合(正常)拟合各种函数的能力;高阶多项式函数过拟合。原创 2024-02-17 22:19:06 · 202 阅读 · 1 评论 -
《动手深度学习》softmax回归和损失函数
1、 softmax函数能够将未规范化的预测变换为非负数并且总和为1,同时让模型保持 可导的性质。为了完成这一目标,我们首先对每个未规范化的预测求幂,这样可以确保输出非负。为了确保最终输出的概率值总和为1,我们再让每个求幂后的结果除以它们的总和。二、损失函数:下图中:绿色为似然函数,橙色为导数,蓝色为损失函数。使用softmax操作子得到每个类的预测置信度。2、softmax回归是一个多分类模型;使用交叉熵来衡量预测和标号的区别。一、softmax回归。原创 2024-02-05 21:56:49 · 166 阅读 · 1 评论 -
《动手深度学习》多层感知机
H = relu(X @ W1 + b1) # 这里“@”代表矩阵乘法。3、感知机是一个二分类模型,它的求解算法等价于使用批量大小为1的梯度下降。6、多层感知机使用隐藏层和激活函数来得到非线性模型;常用的激活函数是Sigmoid,Tanh,ReLU;2、感知机不能拟合XOR函数,它只能产生线性分割面。2、sigmoid激活函数,将输入投影到(0,1)3、Tanh激活函数,将输入投影到(-1,1)超参数为隐藏层数,和各个隐藏层大小。1、单隐藏层,单分类。4、ReLU激活函数。原创 2024-02-08 22:15:31 · 240 阅读 · 0 评论 -
《动手深度学习》线性回归和基础优化算法
梯度下降通过不断沿着反梯度方向更新参数求解。小批量随机梯度下降是深度学习默认的求解算法。使用平方损失来衡量预测值和真实值的差异。线性回归是对n维输入的加权,外加偏差。两个重要的超参数是批量大小和学习率。b是批量大小,另一个重要的超参数。线性回归可以看做是单层神经网络。2、小批量随机梯度下降。原创 2024-02-04 22:19:48 · 186 阅读 · 1 评论