《深度学习中的数学》之神经网络的思想

原文链接https://www.toutiao.com/a6688175496821211662/

本文简单解释了神经网络的来源以及神经网络中的输出原理
深度学习是人工智能中一种具有代表性的实现方法。
谈到神经网络的想法，需要从生物学上的神经元（neuron）开始说起。
从生物学的扎实的研究成果中，我们可以得到以下关于构成大脑的神经元的知识。
(i) 神经元形成网络。
(ii) 对于从其他多个神经元传递过来的信号，如果它们的和不超过
某个固定大小的值（阈值），则神经元不做出任何反应。
(iii) 对于从其他多个神经元传递过来的信号，如果它们的和超过某
个固定大小的值（阈值），则神经元做出反应（称为点火），向
另外的神经元传递固定强度的信号。
(iv) 在 (ii) 和 (iii) 中，从多个神经元传递过来的信号之和中，每个信
号对应的权重不一样。

将神经元的工作在数学上抽象化，并以其为单位人工地形成网络，这样的人工网络就是神经网络。将构成大脑的神经元的集合体抽象为数学模型，这就是神经网络的出发点。
最后，我们用数学方式来表示点火的判定条件。
从 (i) 和 (ii) 可知，神经元点火与否是根据来自其他神经元的输入信号的和来判定的，但这个求和的方式应该不是简单的求和。例如在网球比赛中，对于来自视觉神经的信号和来自听觉神经的信号，大脑是通过改变权重来处理的。因此，神经元的输入信号应该是考虑了权重的信号之和。用数学语言来表示的话，例如，来自相邻神经元 1、2、3 的输入信号分别为 x 1 、x 2 、x 3 ，则神经元的输入信号之和可以如下表示。

式中的 w 1 、w 2 、w 3 是输入信号 x 1 、x 2 、x 3 对应的权重（weight）。
根据 (ii)，神经元在信号之和超过阈值时点火，不超过阈值时不点火。于是，利用式 (1)，点火条件可以如下表示。

这里，θ 是该神经元固有的阈值。