一、深度神经网络(DNN)
1.神经网络比较
-
生物神经网络
生物神经网络是指生物的大脑神经元,细胞等组成的网络,用于产生生物的意识,帮助生物进行思考和行动
-
人工神经网络
人工神经网络是模仿动物神经网络行为特征所建立的数学算法基础,它是对自然界某种算法或者函数的逼近
2.神经网络前向传播过程
3.神经网络后向传播过程
二、神经网络参数更新
1.如何更新
2.下降多少合适
自行调整
3.局部最小值和全局最小值
4.影响局部、全局最小值的因素
- 初始化权重
- 优化函数(动量)
- 学习率
三、深度学习样本分类
1.样本
- 研究中实际观测或调查的一部分个体称为样本,研究对象的全部称为总体
- 为了使样本能够正确反映总体情况,对总体要有明确的规定
总体内所有观察单位必须是同质的
在抽取样本的过程中,必须遵守随机化原则
样本的观察单位要有足够的量,称为“子样”
按照一定的抽样规则从总体中抽取的一部分个体,样本中个体的数目称为“样本总量”
2.样本类型
- 训练集
- 样本是带有标签的数据集
- 参与网络每一次前向、后向的运算
- 输入值是样本的值输出值和标签值形状类型一致,用来和标签值做损失,用于后向传播更新权重
- 验证集
- 带有标签的数据集
- 只进行一次前向运算
- 目的是验证模型的训练程度,检验结果是否达标
- 测试集
- 不带标签的数据集
- 用来测试模型的泛化能力
3.各类样本的比例
三者比例一般在 6:2:2 - 8:1:1
之间。