机器学习笔记（二） 神经网络

神将网络在解决多分类问题时效果比logistics回归的效果要好，作为现在最流行的机器学习算法，我们首先来简单了解一下：

神经网络的组成：

和我们人的神经组成一样，神将网络也是由神经元组成，先来介绍最普遍的MP神经元。
在生物的神经网络中，假设一些神经元处于兴奋状态，那么这些神经元就会向与之相连接的神经元发送化学物质，从而改变接受的神经元的电位，当这个电位达到一个阈值的时候，神经元就会兴奋，并进行下一波传递。
我们现在以当前接受的神经元为中心，把向他传输化学物质（数据）的神经元统一为输出，那么在输入达到阈值之后，神经元就会兴奋，并产生输出。想要把这段过程完整的变为数学模型，就需要一个激活函数了，理想的激活函数就是单位阶跃函数，但是我们这里就用一个sigmoid函数来代替。
这不就是logistics回归吗……

上图左边的是输出，中间的w是对于一个输出的链接权重，这里的f(x)是我们刚才看到的激活函数函数。那么我们就可以吧神经元的线性模型表示出来：

$$y_j = f(\sum_i w_ix_i-\theta_j)$$
这样神经元的模型就建好了

神经网络：

感知机：

感知机（Perceptron）就是两层的神经网络，输入层接受外部信号传递给输出层，输出层是MP神经元，只要设定好阈值和链接权重，就可以解决与或非这样的逻辑问题。但是由于只有一层功能神经层（MP神经元组成的）他的学习能力不够强。

多层神经网络：

要想解决多分类问题，使用多层神经网络是最好的选择。常见的神经网络模型我们称为前馈神经网络：每层神经元与下一层神经元全链接，同层神经元之间不链接。其中除了输出层和输入层意外的神经网络均称为隐层。这个神经网络的学习过程就是学习每层神经网络之间的连接权重和神经元的阈值

反向传播算法：

反向传播算法基于的是梯度下降的策略，我不喜欢冗长的数学推导过程，直接给出一个具体的工作流程，各位看官就能明白了：

输入：训练集D 学习率 alpha
在(0,1)之间随机初始化网络中的所有参数(阈值和链接权重）
do:
    for all(x,y,) in D:
        计算出当前样本的输出y2;
        计算出输出层神经元的梯度项；
        计算出隐层神经元的梯度项；
        更新链接权重和阈值
    end
until 达到条件

至于为什么叫反向传播各位应该都明白了，意思是根据样本输出值先计算出输出层和隐层的梯度，根据梯度更新参数，具体的公式就不列出了

总结：

简要的谈了一下神经网络的一些概念和方法，以本人拙见，轮子哥说神经网络是暴力求解也不是不无道理，仔细一看，其实神经网络就是巧妙地将神经元概念和线性回归的概念结合到一起。这样的确就可以接近一个真实值。