深度学习模型建立的整体流程和框架

本文介绍了深度学习模型建立的整个流程,包括数据处理、模型设计、损失函数、优化算法和训练配置。数据处理涉及读入、划分数据集等步骤;模型设计关注网络结构的选择,如全连接、卷积和循环神经网络;损失函数用于优化参数,如均方差、交叉熵;优化算法如SGD、Momentum、AdaGrad和Adam影响参数更新;学习率的设置至关重要,过大或过小都会影响模型收敛。文章还提及模型优化的多个维度。
摘要由CSDN通过智能技术生成

框架图如下,纵向是建立模型的主要流程,是一个简化且宏观的概念,横向是针对具体模块的延展。
框架图

数据处理
数据处理一般涉及到一下五个环节:

读入数据
划分数据集
生成批次数据
训练样本集乱序
校验数据有效性
模型设计
网络结构
网络结构指的就是通常所说的神经网络算法中的网络框架,如全连接神经网络,卷积神经网络以及循环神经网络等,不同的网络结构通常有各自最优的处理场景,所以在处理具体问题时选择合适的网络结构是十分重要的。

损失函数
损失函数是模型优化的目标,用于在众多的参数取值中,识别出最优的参数。损失函数的计算在训练过程的代码中,每一轮模型训练的过程都相同,分如下三步:

先根据输入特征数据正向计算预测输出
再根据预测值和真实值计算损失(误差)
最后根据损失反向传播梯度并更新参数
损失函数也有很多种,如均方差,交叉熵等,不同的深度学习任务需要有各自适宜的损失函数,具体可以参考该博客机器学习-损失函数

训练配置
优化算法
优化算法用来确定参数更新的方式以及快慢,常用的优化算法有如下四个:

随机梯度下降(SGD):随机梯度下降算法,每次训练少量数据,抽样偏差导致参数收敛过程中震荡。
动量(Momentum):引入物理“动量”的概念,累积速度,减少震荡,使参数更新的方向更稳定。
AdaGrad: 根据不同参数距离最优解的远近,动态调整学习率。学习率逐渐下降,依据各参数变化大小调整学习率。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值