深度学习中偏移项bias的作用

   我们用一个简单的感知器来解释bias的作用,下图是一个简单的感知器,输入三个变量,输出值为0或1,当三个变量与权值的成绩大于某个阈值时,输出1,反之输出0.

函数模型如上图:



  在上面的模型中,阈值越大那么想要输出1的难度就越大,也就是说产生正激励的难度就越大,用一个实际的例子来说明。假如学校附近开了一家新的小吃店,这是影响你去的元素有三个。

1 天气好不好 (1 or 0)

2 好不好吃 (1 or 0)

3 偏不便宜 (1 or 0)

假设三个因素的影响是相同的,那么权重就取相同的值,w_i = 1, i=1,2,3.

如果这时候的阈值取0的话,则说明不管有没有这三个因素你都会去吃,那么这三个因素就不是能够影响你去或不去的参数,也就是说明参数选错了。

如果阈值取1时,就说明三个因素只要满足一个你就会去。

如果阈值取2时,就说明三个因素要满足二个你就会去。

如果阈值取3时,就说明三个因素必须要满足三个你就会去。

如果阈值大于4的话,则说明无论如何你都不会去吃,也说明了这三个参数不会对你去不去造成影响。

上面的例子说明了bias的作用,也就是说明了bias的大小决定了神经云产生的正负激励的难易程度。


还有其他的理解就是,这里的bias是所选模型自带的固有的误差,因为选的模型必不可能是完美的,bias与数据无关,是模型自带的


最简单的解释就是原来的模型是w1x1+w2x2+...+wnxn>=b这里的b就是bias也就是阈值,当达到某个阈值的时候,产生输出,但是为了模型的方便将b移到了左边变成w1x1+...+wnxn+(-b)>=0

  • 5
    点赞
  • 34
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值