深度学习
文章平均质量分 95
林梓烯
这个作者很懒,什么都没留下…
展开
-
深度学习——卷积神经网络
如果卷积核的高和宽都为1,对乘法的计算次数的影响不大,因为一般输入矩阵的大小都远大于卷积核的大小,但加法的计算次数会得到显著的减少,因为加法计算的次数与卷积核的大小是成正比的,卷积核的高和宽为1时,比不为1能减少c0 x ci(((h+2ph-kh)/sh + (w+2pw-kw)/sw + 2) x (kh x kw - 1)- 1)+ c0次的计算。如上图这个卷积核就是一个检测物体边缘的卷积核,因为物体的边缘通常是变化巨大的,如果横向的两个元素相同,则输出结果为0,否则为非0。原创 2023-11-23 23:51:09 · 1094 阅读 · 0 评论 -
深度学习——残差网络
残差网络是通过将输出从输入的映射改为输入数据加上输入的映射,这样就从学习输出的特征y表示变为学习残差,这样就有一条旁路连接输入和输出,每一层都能直接与顶层的损失进行“对话”,以此解决了梯度在反向传播的过程中逐渐消失的问题。原创 2023-11-18 20:07:31 · 1314 阅读 · 0 评论 -
深度学习——多层感知机MLP
多层感知机实现的大致步骤为获取数据集、初始化模型参数(通常将权重初始化为标准差为0.01均值为0的正态分布,偏置初始化为0)、定义激活函数(一般使用ReLU函数)和损失函数、定义网络模型(本次实验为线性回归模型),基本与线性回归和softmax回归模型一样,只是多层感知机的网络层数更多(本次实验添加了隐藏层),不过之前的学习中在实现时为了让我们了解多层神经网络的流水线操作,也使用了多层感知机的网络模型。原创 2023-11-14 14:56:39 · 550 阅读 · 0 评论 -
深度学习——softmax回归
在softmax回归中我们使用的数据集中的样本为28x28的图像,为了简化问题,我们将其降维看作长度为784的向量,每个像素位置视为一个特征,即每个样本拥有784个特征。在softmax回归中,输出与类别一样多,我们使用的数据集类别有10个,样本特征有784个,因此将权重设为784 X 10的矩阵,偏差值也需要有10个。要计算正确预测的个数,我们需要将y_hat中的数据与y进行比较,相同的即为正确预测,计为1,否则为错误预测,计为0.3. 将1的结果的每一行除以该行的规范化参数,使得每一行的和为1。原创 2023-11-02 12:15:00 · 123 阅读 · 0 评论 -
深度学习——线性回归
我们已经准备好了模型训练所需的所有要素,现在我们可以开始训练模型了,我们每次从数据集中抽取一个小批量的数据,根据小批量中的数据和模型参数,我们可以得到计算的结果y_hat,将y_hat和y传入损失函数进行计算小批量损失,接着再计算损失函数的梯度,再根据梯度优化更新参数,在更新完后,我们可以测试更新后的效果。这里我们使用小批量随机梯度下降法,首先从数据集中抽取一个小批量,然后计算损失函数的梯度,接着根据梯度向着损失减少的方向更新参数,更新的步长为学习率,我们需要选取合适的学习率以保证模型能很好的收敛。原创 2023-11-01 16:26:36 · 538 阅读 · 1 评论 -
深度学习从零开始
在学习深度学习前,我们首先需要搭建一个软件开发平台,我们使用的平台是Pytorch加OpenCV,因此我们需要先安装这两个包。原创 2023-10-31 17:00:00 · 752 阅读 · 1 评论