- 博客(1)
- 资源 (2)
- 收藏
- 关注
转载 Self-Attention Mechanism
在计算 Attention 时主要分为三步,第一步是将 query 和每个 key 进行相似度计算得到权重,常用的相似度函数有点积,拼接,感知机等;然后第二步一般是使用一个 softmax 函数对这些权重进行归一化;最后将权重和相应的键值 value 进行加权求和得到最后的 Attention。 目前在 NLP 研究中,key 和 value 常常都是同一个,即 key=value。...
2018-12-02 12:13:37 669
宽带IP技术以及自动交换光网络
由于IP的无处不在,基于 IP的网络已达成共识,宽带技术和IP的结合有IP Over ATM,IP Over SDH等技术。ASON(自动交换光网络)技术,以SDH和光传送网(OTN)为基础,自出现以来,一直在不断发展更新,并被业界所关注。以光纤为物理传输 媒介,通过控制平面来完成自动交换和连接控制,以SDH和OTN等光传输系统为传送平面构成的具有智能的光传送网。
2020-12-11
考研英语写作范文100篇
考研英语写作范文包括历年考研写作,短文10种分类(社会热点,身体健康,环境保护,人文道德,人口增长,文化交流等),及各种应应用文(申请,辞职信,道歉信,感谢信,建议信,邀请信等)
2009-12-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人