Deep Learning 学习笔记1：神经元、神经网络与深度学习

    深度学习是机器学习的一个重要分支，而神经网络则是其理论基础。神经网络的设计来源于神经科学，很早之前科学家就研究了神经元的组成结构。而这种神经元结构也就是神经网络的原型。

    神经元模型是一个包括一个输入、输出以及计算功能的模型，如下图：

    在每一个连接上都会有一个参数，叫做权重。一个神经网络的算法就是让权重值调整到最佳，以使得整个网络的预测效果达到最好。在初端，传递的信号大小是a的话，经过端中间的加权参数w之后，信号大小就会变成a*w。下图为一个神经元的计算过程：

    z是在输入和权值的线性加权和叠加了一个函数g的值。在MP模型里，函数g是sgn函数，也就是取符号函数。这个函数当输入大于0时，输出1，否则输出0。

    单层神经网络：

    单层神经网络是由两层神经网络组成的神经网络，又名感知器。在“感知器”中，有两个层次，分别是输入层和输出层。输入层里的“输入单元”只负责传输数据，不做计算。输出层里的“输出单元”则需要对前面一层的输入进行计算。我们把需要计算的层次称之为“计算层”，并把拥有一个计算层的网络称之为“单层神经网络”。假如我们要预测的目标不再是一个值，而是一个向量，那么可以在输出层再增加一个“输出单元”。

    一个神经元的输出可以向多个神经元传递，但是向不同的神经元传递的时候，所需的参数w都不相同。如下图：

 

    这两个公式就是线性代数方程组。因此可以用矩阵乘法来表