神经网络的起源

神经网络（深度学习）越来越火啦，似乎任何行业都有它的影子，那么它到底是个什么东西呢？别急，让我们从头说起。

感知机

感知机是由美国学者Frank Rosenblatt在1957年提出的，是神经网络（深度学习）的基础。

上图是一个简单感知机模型，x1、x2是输入信号，y是输出信号，w1、w2是权重，圆圈称为神经元或节点。输出神经元会计算所有输入信号与相应权重乘积的总和（x1w1+x2w2），只有当这个总和大于某个界限值时，才会输出1，也就是这个神经元被激活了。用数学公式表示如下：

用感知机实现简单逻辑电路

感知机的结构非常简单，但是通过设置不同的权重值和阈值就可以实现不同的功能。同一逻辑电路的实现方法有很多种，下面分别列出与门、与非门、或门的一种实现方法：

更普遍的感知机形式

上面描述的感知机形式易于理解，但是为了后面的工作，我们将它做一些改变，将等式右边修改为0，具体形式如下：

新引入的参数b称为偏置。

用python实现感知机构成的逻辑电路

与门：

def AND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

与非门：

def NAND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([-0.5, -0.5])
    b = 0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

或门：

def OR(x1, x2):
    x = np.array([x1, x2])
    w = np.array([1, 1])
    b = -0.5
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

感知机的局限性

感知机虽然可以实现与门、与非门、或门，但是却无法实现异或门。但是值得高兴的是，感知机是可以叠加使用的，也就是我们可以通过与门、与非门、或门组合出与非门。

def XOR(x1, x2):
    s1 = NAND(x1, x2)
    s2 = OR(x1, x2)
    y = AND(s1, s2)
    return y

也就是说我们可以通过两层感知机实现异或门。理论上，可以通过与非门构建出一个完整的计算机，那么我们也可以通过多层感知机实现一个完整的计算机。由此可见，感知机的功能是非常强大的。

神经网络

从感知机到神经网络

上一节中我们将单个感知机表示为如下数学形式：

现在，我们将这个数学表达式进一步简化为：

其中h(x)函数的表达式如下：


h(x)就是数学上的阶跃函数，在神经网络领域，我们赋予它一个新的名字——激活函数。感知机使用的激活函数就是最简单的阶跃函数，如果我们将激活函数换成其他类型的函数，就构成了神经网络，这就是神经网络和感知机最本质的不同之处。

激活函数

激活函数有很多种，这里介绍最为常见的两种——Sigmoid函数和ReLU函数。
Sigmoid函数的表达式如下：



对比阶跃函数和sigmoid函数可以看出，阶跃函数只有0和1两个输出，也就是说神经元只有通和不通两种状态，而sigmoid函数更加平滑，赋予了网络更多的可能性。
ReLU函数的表达式如下：

搭建一个三层神经网络

在神经网络中，我们只关注拥有计算能力的神经元，输入层只负责传入数据，因此下图显示的就是一个三层的神经网络，最后一层称为输出层。

搭建的代码在这里：只用numpy库搭建三层神经网络
这里只用到了numpy库，没有采用更为简洁的pytorch或者tensorflow是为了更为清晰的表示出神经网络的内部数据传递。
关于numpy库可以看看这个简单的教程：Numpy简明教程