神经网络的思想

文章目录

神经网络的思想

本文章为《深度学习的数学》一书中第一章节的知识整理与汇总。本章以生动的口吻和直观的形式讲述了神经网络是什么，以及数学是怎样参与其中的。

🎈神经单元工作的数学表示

深度学习是人工智能的一种具有代表性实现方法，而其出发点是神经网络。

既然是网络嘛，那肯定是由更小的单元构成的，而这个单元就是–神经单元。对！就是高中生物学过的那个神经元。将构成大脑的神经元的集合体抽象为数学模型，这就是神经网络的出发点。为了区分生物中的神经元,我们将其命名对神经单元。

那么神经单元是怎么工作的呢？书中是怎么回答的。

在人脑中，其他神经元的信号（输入信号）通过树突传递到细胞体（也就是神经元本体）中，细胞体把其他神经元传递过来的输入信号进行合并加工，然后再通过轴突前端的突触传递给别的神经元（输出信号）。

在这里我们应该注意到合并加工这个关键词，从而衍生出以下问题：

1、🔑怎样合并？

2、🎐有很多输入信号吗？对于所有的输入信号都要处理吗？

3、💡加工往往与输出信号关联，那对合并后的信号怎样加工呢？

来，我们一个一个解决！

🔑怎样合并？

举个栗子，在网球比赛中，对于来自视觉神经的信号和来自听觉神经的信号，大脑是通过思考来判断比赛结果，这里的思考相当于对于各个因素综合考虑，所谓综合，即是计算各个因素的影响因子，也就是我们所说的权重。

同理，神经单元中的合并方式并非简单的求和，而是考虑了权重的信号之和。

例如，来自相邻神经单元1、2、3的输入信号分别为$x_1$、$x_2$、$x_3$，则神经单元的输入信号之和应为：
$$w_1{x}_1+w_2{x}_2+w_3{x}_3\text{\hspace{1em}(1)}$$
上式中$x_1$、$x_2$、$x_3$是输入信号，$w_1$、$w_2$、$w_3$是输入信号对应的权重，构成神经单元将输入信号合并后的结果。

🎐有很多输入信号吗？对于所有的输入信号都要处理吗？

一个神经单元可以从其他多个神经单元中接受到输入信号。

但神经单元并非来者不拒，这不得累死自己，因此神经单元中有自己的判断标准–阈值$\Theta$，如果输入信号的合并结果比设定的阈值大，则可以进行加工并输出，否则无输出信号,数学表达如下：
{ 无 输 出 信 号 : ( y = 0 ) w 1 x 1 + w 2 x 2 +