用Python实现出来的机器学习算法都是什么样子呢? 前两期线性回归及逻辑回归项目已发布(见文末链接),今天来讲讲BP神经网络。
BP神经网络
全部代码
https://github.com/lawlite19/MachineLearning_Python/blob/master/NeuralNetwok/NeuralNetwork.py
神经网络model
先介绍个三层的神经网络,如下图所示
输入层(input layer)有三个units(
为补上的bias,通常设为1)
表示第j层的第i个激励,也称为为单元unit
为第j层到第j+1层映射的权重矩阵,就是每条边的权重
所以可以得到:
隐含层:
输出层
,
其中,S型函数
,也成为激励函数
可以看出
为3x4的矩阵,
为1x4的矩阵
==》j+1的单元数x(j层的单元数+1)
代价函数
假设最后输出的
,即代表输出层有K个单元
,
其中,
代表第i个单元输出与逻辑回归的代价函数
差不多,就是累加上每个输出(共有K个输出)
正则化
L-->所有层的个数<