python-机器学习打卡(六)--监督学习(五)--神经网络

神经网络

这里讨论关于多层感知机（multilayer perceptron，MLP），MLP被称为前馈神经网络，有时也叫神经网络。

神经网络模型

MLP可以被看做是广义的线性模型，执行多层得到的结论。
对象与线性回归公式
$$\hat{y}=W\ast X+b=w[0]\ast x[0]+w[1]\ast x[1]+\cdot \cdot \cdot +w[p]\ast x[p]+b$$
简单来说，线性模型的结果$\hat{y}$就是将输入的$x$加权求和，权重系数为$w$，如下图所示

上图中左侧节点代表一个输入特征，连线代表学到的系数，右侧节点代表输出。

而在MLP中，则是多次重复上述的加权求和，如下图所示，中间hidden layers表示中间过程的隐藏单元，MLP的输出就是这些隐藏单元的加权求和。

这个模型则需要学习更多的权重系数，从数学角度看，计算一系列加权求和和计算一个加权求和是完全相同的。但是为了让模型更加强大，通常会在隐藏单元加权求和后应用一个非线性函数（激活函数）----通常是校正线性单元（ReLU）或者正切双曲线（tanh），使用非线性函数的输出进行加权求和。

对于上述小型神经网络，输出值$\hat{y}$的公式如下：

h [ 0 ] = w [ 0 ] ∗ x [ 0 ] + w [ 0 ] ∗ x [ 1 ] + w [ 0 ] ∗