小白机器学习进阶（四）——计算机神经网络

一、引言

当我们使用逻辑回归解决分类问题时，如果遇到非线性逻辑回归时，我们需要将特征量进行变换，这会导致变换后的特征量增加。当训练集的特征量本身就很多时，特征量的总数就会增加得逐渐让人无法接受，这将造成困难。
此时我们可以使用 神经网络算法。

二、神经网络结构

层：输入层、隐藏层、输出层
单元：每层里的不同元素

在下面的叙述中，Θ代表权重矩阵，xi为输入值，yi为输出值，ai为单元中的activation value，其中z为自变量与相应权重矩阵的线性组合，a = g(z)

三、神经网络算法实现

基本思路
自变量与权重矩阵的对应向量线性组合得到z→对z取sigmoid函数得到a→a作为下一层的输入值
由上述基本思路可知，我们只需要 确定权重矩阵 即可实现神经网络算法。

四、寻找权重矩阵

1.权重矩阵的维数

如果有L层，每层有j个单元，训练集(x,y)有i个
则矩阵维数为i*(j+1)*L
(j+1)中的1来自于每一层的偏置项。

2.权重矩阵中Θ的取值

思路：最小化代价函数
(1)代价函数