一、神经网络
单个神经元模型
多个神经元组合起来的神经网络模型
注释:
- ,表示第j层第i个神经元的激活项,激活项是指一个具体的神经元计算并输出的值
- ,表示从第j层到第j+1层的映射的参数矩阵,一般该矩阵维度为
前向传播
反向传播
梯度检测:可以保证前向和后向传播结果正确
随机初始化
总结:
1.确实输入x的个数,输出y的个数(例如:几分类问题,y=几),注意y向量用one-hot编码形式
2.确定隐藏层,默认为一层,多层默认神经元个数相同,神经元个数一般与x维度相同或2倍等等
3.神经网络步骤:
1.初始化随机矩阵
2.前向传播,对x向量得到h(x),也就是输出值y向量
3.计算损失函数J(θ)
4.反向传播计算偏导数项J(θ)对θ求偏导
5.梯度检测,上步得到的偏导数项与数值方法在J(θ)得到的导数对比
6.使用梯度下降算法或其他优化算法来减少J(θ)