全连接前馈神经网络DNN
1.DNN概述
-
前馈神经网络中,各神经元属于不同层,信号从输入层向输出层单向传播(有向无环图)
-
人工神经元模型:输入:x1,x2 权重:w1,w2 偏置:b 输出z=w1*x1+w2*x2+。。。+b 激活后输出y
-
结构:输入层input layer 隐藏层hidden layer(n层) 输出层output layer
-
DNN采用Softmax做输出层激活函数,隐藏层各层激活函数选sigmoid即可
2.softmax函数:
-
归一化指数函数,是二分类函数sigmoid在多分类下的推广
-
其主要两个作用:1. 将预测结果转为非负数 2. 使各个预测概率之和为1(归一化)
3.DNN模型结构:
-
从L-1到L,每一层都有一个层间连线权重w和偏执参数b,除输入层外其余各层均有激励函数
4.梯度下降:
-
神经网络参数量巨大,一般通过迭代调参寻找最优参数,通过梯度下降找到损失函数的最小值,使模型预测值递归性的逼近真实值,从而确定最优参数。
-
步骤:1.定义一个损失函数,表示预测值与真实值之间的差距,将问题转化为损失函数求极值(极小值) 2.优化损失函数,通过求损失函数的极值确定参数
-
损失函数:
-
h(θ)为目标函数,而 J(θ)为损失函数(平方损失函数)
损失函数的梯度(即导数或偏导数)为
参数 θ的更新方式,即梯度下降算法为
-
a即学习率,一般取0.1、0.01,学习率其取值决定学习过程的收敛速度
-
根据损失函数不同形式,梯度下降常见的有梯度下降法、随机梯度下降法、小批量梯度下降法、动态梯度下降
5.反向传播算法BP
下篇文章再述