深度学习指南
文章平均质量分 91
alstonlou
这个作者很懒,什么都没留下…
展开
-
深度学习-机器视觉part2
未完待续。原创 2024-04-02 09:24:06 · 1266 阅读 · 0 评论 -
深度学习-计算机视觉入门-part1
未完待续。原创 2024-04-01 19:44:26 · 1313 阅读 · 0 评论 -
深度学习-数据归一化与Batch Normalization
文章目录数据归一化与Batch Normalization一、经典机器学习的归一化算法1.经典机器学习归一化方法回顾1.1 0-1标准化方法1.2 Z-Score标准化2.经典机器学习归一化算法在深度学习中的实践3.Z-Score数据归一化的局限3.1 Zero-Centered特性消失3.2 Zero-Centered Data的作用局限4.保证梯度平稳的第二条道路:输入数据调整二、Batch Normalization基础理论1.归一化方法与数据分布的相互独立性2.归一化与仿射变换3.Batch Nor原创 2024-03-26 22:09:19 · 1342 阅读 · 1 评论 -
深度学习- 2.10 Xavier方法与kaiming方法(HE初始化)
尽管Xavier初始化能够在Sigmoid和tanh激活函数叠加的神经网络中起到一定的效果,但由于ReLU激活函数属于非饱和类激活函数,并不会出现类似Sigmoid和tanh激活函数使用过程中可能存在的梯度消失或梯度爆炸问题,反而因为ReLU激活函数的不饱和特性,ReLU激活函数的叠加极有可能出现神经元活性消失的问题,很明显,该类问题无法通过Xavier初始化解决。对于参数初始化计算过程,最重要的是确定参数的方差,如果是正态分布,由于均值是0,因此可以快速确定其分布,而如果是均匀分布,则可通过。原创 2024-03-21 08:58:06 · 1738 阅读 · 0 评论 -
深度学习-2.9梯度不稳定和Glorot条件
对于神经网络这个复杂系统来说,在模型训练过程中,一个最基础、同时也最常见的问题,就是梯度消失和梯度爆炸。我们知道,神经网络在进行反向传播的过程中,各参数层的梯度计算会涉及到激活函数导函数取值,具体来说,假设现在有一个三层的神经网络,其中两个隐藏层的激活函数为Fx,对应的导函数为fx,设X为输入训练的数据特征,y为标签,y为模型向前传播输出结果,$ w_1为第一层参数、w_2为第二层参数、w_3$为第三层参数,loss为损失函数,则有如下计算公式:yFFX∗w1∗。原创 2024-03-20 10:31:20 · 995 阅读 · 0 评论 -
深度学习-2.8模型拟合概念和欠拟合模型、过拟合调整策略
通过此前介绍,已经知道深度学习模型主要是通过模型在测试集上的运行效果来判断模型好坏。测试集相当于是“高考”,而此前的模型训练都相当于是在练习,但怎么样的练习才能有效的提高高考成绩,这里就存在一个“悖论”,那就是练习是为了高考,而在高考前我们永远不知道练习是否有效,那高考对于练习的核心指导意义何在?原创 2024-03-18 19:16:27 · 1170 阅读 · 0 评论 -
深度学习-2.7 机器学习目标与模型评估方法
如果模型能够在测试集上有不错的预测效果,我们就“简单粗暴”的认为模型可以在真实的未来获取的未知数据集上有不错的表现。据此,我们称模型在训练集上误差称为训练误差,在测试集上的误差称为泛化误差,不过毕竟在测试集上进行测试还只是模拟演习,我们采用模型的泛化能力来描述模型在未知数据上的判别能力,当然泛化能力无法准确衡量(未知的数据还未到来,到来的数据都变成了已知数据),我们只能通过模型在训练集和测试集上的表现,判别模型泛化能力,当然,就像此前说的一样,最基本的,我们会通过模型在测试集上的表现来判断模型的泛化能力。原创 2024-03-16 15:25:18 · 1279 阅读 · 0 评论 -
深度学习-2.6在MINST-FASHION上实现神经网络的学习流程
需要对数据的结构进行一个改变,这里的“-1”代表,我不想算,请pytorch帮我计算criterion = nn.NLLLoss() #定义损失函数opt = optim.SGD(net.parameters(), lr=lr,momentum=gamma) #定义优化算法opt.step()opt.zero_grad()#求解准确率epoch+1, samples。原创 2024-03-15 19:43:49 · 1442 阅读 · 0 评论 -
深度学习-2.5 模型优化方法
在构建完模型后,通过一下几种步骤进行模型优化训练过程。原创 2023-12-27 13:38:59 · 1117 阅读 · 1 评论 -
深度学习-2.4建模过程总结和第一个最优化函数
深度学习的完整建模过程总结和第一个最优化函数原创 2024-03-09 22:51:39 · 1093 阅读 · 0 评论 -
深度学习-2.3损失函数
在之前的文章中,已经建立了最基础的深层神经网络,并能够理解网络的正向传播过程,接下来,我将分享深度学习网络的学习和训练过程,并从最小二乘和梯度下降算法开始拓展,介绍神经网络的损失函数、常用优化算法等信息,实现神经网络的学习和迭代。原创 2024-03-07 12:09:55 · 1033 阅读 · 0 评论 -
深度学习-2.2 多层神经网络
从单层到多层是神经网络发展史上的重大变化,层的增加彻底将神经网络的性能提升到了另一个高度,正确理解层的意义对于我们自主构建神经网络有很重要的作用,学会利用层是避免浪费计算资源以及提升神经网络效果的关键。原创 2024-03-03 17:10:14 · 1296 阅读 · 0 评论 -
深度学习-2.1 神经网络原理
文章目录神经网络原理1.单层神经网络1.1 回归单层神经网络:线性回归1.2 二分类单层神经网络:sigmoid与阶跃函数1.3 多分类单层神经网络:softmax回归神经网络原理人工神经网络(Artificial Neural Network,ANN),通常简称为神经网络,它是机器学习当中独树一帜的,最强大的强学习器没有之一。人脑通过构建复杂的网络可以进行逻辑,语言,图像的学习,而传统机器学习算法不具备和人类相似的学习能力。机器学习研究者们相信,模拟大脑结构可以让机器的学习能力更上一层楼,于是人工神原创 2024-02-29 10:53:16 · 1600 阅读 · 0 评论 -
1.深度学习基础-模型评估指标
针对不同类型的任务,需要通过不同的模型评价指标进行评价,在实际应用中,可能需要结合具体任务和需求选择合适的评估方法。原创 2024-02-23 09:40:28 · 1147 阅读 · 0 评论 -
1.深度学习基础-有监督学习、无监督学习和强化学习
深度学习(机器学习)任务可以简单分为有监督学习、无监督学习、强化学习等。其中,有监督学习从有标签的训练数据中推导出预测函数,有标签的训练数据是指每个训练的样本都包含输入和对应的真实输出。无监督学习是与有监督学习的另一种学习类别。它从无标记的训练数据中推断结论。其中最典型的无监督学习就是无监督聚类分析,它可以在探索性数据分析阶段用于发现隐藏的模式或者对数据进行分组。强化学习是机器学习的另一个领域。它更加关注模型在环境中采取某一行为,以便获取最大化某种积累的会报。原创 2024-02-22 19:38:31 · 802 阅读 · 0 评论