机器学习之神经网络及python实现

神经网络在机器学习中有很大的应用，甚至涉及到方方面面。本文主要是简单介绍一下神经网络的基本理论概念和推算。同时也会介绍一下神经网络在数据分类方面的应用。

首先，当我们建立一个回归和分类模型的时候，无论是用最小二乘法（OLS）还是最大似然值（MLE）都用来使得残差达到最小。因此我们在建立模型的时候，都会有一个loss function。

而在神经网络里也不例外，也有个类似的loss function。

对回归而言：

对分类而言：

然后同样方法，对于W开始求导，求导为零就可以求出极值来。

关于式子中的W。我们在这里以三层的神经网络为例。先介绍一下神经网络的相关参数。

第一层是输入层，第二层是隐藏层，第三层是输出层。

在X1，X2经过W1的加权后，达到隐藏层，然后经过W2的加权，到达输出层

其中，

我们有：