深度学习公式推导(1):神经元的数学公式

5e43e5a6ccd8def157a2c223e6b7b6d7.jpeg

在上节中我们说了神经元是如何接受信号,并且发射点火从而影响其他神经元的,下面先来复习一下整个过程。


abf2e9a4d78cb62cf34de924666513bc.jpeg


如上图所示,神经元点火的过程。

(i) 神经元接受来自其他多个神经元的信号,这些信号会作为该神经元的输入。

(ii) 如果信号量之和达到了神经元点火的阈值,神经元就会触发点火。

也即是说神经元的输出有两种情况,点火或者不点火,我们用数字信号 0表示不点火, 1 表示点火。


99f41ba225725d991ae6164d75e45295.jpeg


如上图所示,y 代表神经元的输出0(无输出信号),1(有输出信号)。同样,作为神经元的输入,也存在有信号输入(1)和无信号输入(0),我们用x1、x2、x3 来表示,这三个值也有可能是0或者是1.

输入的信号可以通过0,1表示是否输入,但是每个信号量大小是不一样的,因此我们这里为其设置权重,分别对应三个输入的三个信号量的权重分别是就是w1,w2,w3.

于是就得到如下公式:

d4a044797812a798d1c6618ce2facb50.jpeg


当w(权重)和x (是否有信号) 相乘以后求和小于某一个阀值(θ)的时候,说明没有达到点火的条件,此时的y=0。 反之如果wx 相乘的和大于等于 (θ)的时候,说明满足点火的条件也就是 y =1.


接着,我们将上面的公式,在坐标轴上画出来。


c91a6d225a9949a62bc14a841c08a0fd.jpeg

如上图所示,横轴是

08081a53c6a14e11ad22135c559c5277.jpeg

纵轴是 y。当横轴的值大于 θ 的时候y值为 1,反之为0。

然后再对上图进行变换,将整个图像向右平移θ 个单位。


641f5f9331ff55255ecab0bd40ae9c2b.jpeg

也就是将横轴变为

4fd1c9f2b978f5876d7e54422a49cf4d.jpeg

同时将上面的公式设为z。

那么神经元点火的公式就变成如下:

188ecc75d9f55714b8d79aaa9c839dfb.jpeg

这里用函数u 和变量 793891733dbb8ae757cbc00ab9893917.jpeg

得到了y。

再对其进行简化,由于 z 代表 5d9169ee9e43f76bf7de0eda88e6784a.jpeg

,所以得到y=u(z)


5884f570e73ac5f353074a57a6c6643a.jpeg

如上表所示,当wx相乘的和小于θ的时候 推出 z 小于 0, u(z) 函数结果为 0 ,y=0 说明不点火。

当wx相乘的和大于θ的时候 推出 z 大于 0, u(z) 函数结果为 1 ,y=1 说明点火。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值