文章目录
文章目录
神经网络的思想
本文章为《深度学习的数学》一书中第一章节的知识整理与汇总。本章以生动的口吻和直观的形式讲述了神经网络是什么,以及数学是怎样参与其中的。
🎈神经单元工作的数学表示
深度学习是人工智能的一种具有代表性实现方法,而其出发点是神经网络。
既然是网络嘛,那肯定是由更小的单元构成的,而这个单元就是–神经单元。对!就是高中生物学过的那个神经元。将构成大脑的神经元的集合体抽象为数学模型,这就是神经网络的出发点。为了区分生物中的神经元,我们将其命名对神经单元。
那么神经单元是怎么工作的呢?书中是怎么回答的。
在人脑中,其他神经元的信号(输入信号)通过树突传递到细胞体(也就是神经元本体)中,细胞体把其他神经元传递过来的输入信号进行合并加工,然后再通过轴突前端的突触传递给别的神经元(输出信号)。
在这里我们应该注意到合并加工这个关键词,从而衍生出以下问题:
1、🔑怎样合并?
2、🎐有很多输入信号吗?对于所有的输入信号都要处理吗?
3、💡加工往往与输出信号关联,那对合并后的信号怎样加工呢?
来,我们一个一个解决!
🔑怎样合并?
举个栗子,在网球比赛中,对于来自视觉神经的信号和来自听觉神经的信号,大脑是通过思考来判断比赛结果,这里的思考相当于对于各个因素综合考虑,所谓综合,即是计算各个因素的影响因子,也就是我们所说的权重。
同理,神经单元中的合并方式并非简单的求和,而是考虑了权重的信号之和。
例如,来自相邻神经单元1、2、3的输入信号分别为 x 1 x_1 x1、 x 2 x_2 x2、 x 3 x_3 x3,则神经单元的输入信号之和应为:
w 1 x 1 + w 2 x 2 + w 3 x 3 (1) w_1x_1+w_2x_2+w_3x_3\tag{1} w1x1+w2x2+w3x3(1)
上式中 x 1 x_1 x1、 x 2 x_2 x2、 x 3 x_3 x3是输入信号, w 1 w_1 w1、 w 2 w_2 w2、 w 3 w_3 w3是输入信号对应的权重,构成神经单元将输入信号合并后的结果。
🎐有很多输入信号吗?对于所有的输入信号都要处理吗?
一个神经单元可以从其他多个神经单元中接受到输入信号。
但神经单元并非来者不拒,这不得累死自己,因此神经单元中有自己的判断标准–阈值 Θ \Theta Θ,如果输入信号的合并结果比设定的阈值大,则可以进行加工并输出,否则无输出信号,数学表达如下:
{ 无 输 出 信 号 : ( y = 0 ) w 1 x 1 + w 2 x 2 +