Attention原理

1 Attention 基本原理

       神经网络中可以存储的信息量称为网络容量(Network Capacity)。一般来 讲,利用一组神经元来存储信息时,其存储容量和神经元的数量以及网络的复杂 度成正比。如果要存储越多的信息,神经元数量就要越多或者网络要越复杂,进 而导致神经网络的参数成倍地增加。

       我们人脑的生物神经网络同样存在网络容量问题,人脑中的工作记忆大概 只有几秒钟的时间,类似于循环神经网络中的隐状态。在有限的时间内,并不能同时处理来自视觉、听觉、触觉各种各样的输入信息。大脑神经系统有两个重要机制可以解决信息过载问题:注意力记忆机制。

注意力一般分为两种

  • 一种是自上而下的意识的注意力,称为聚焦式注意力(Focus Attention)。 聚焦式注意力是指有预定目的、依赖任务的、主动有意识地聚焦于某一对象的注意力, 聚焦式注意力也常称为选择 性注意力(Selective Attention)。
  • 另一种是自下而上的意识的注意力,称为基于显著性注意力(SaliencyBased Attention)。基于显著性的注意力是由外界刺激驱动的注意,不需要主动 干预,也和任务无关。

下面通过一个例子来说明两种注意力的区别:

鸡尾酒会效应。当一个人在吵闹的鸡尾酒会上 和朋友聊天

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值