Transformer｜1.4 CNN遇到的问题与窘境

已于 2024-02-15 13:48:52 修改
阅读量605 收藏 12
点赞数 12
分类专栏： transformer 深度学习 文章标签： transformer cnn 深度学习
于 2024-01-20 23:55:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fangyechy/article/details/135724020
版权

文章目录

CNN遇到的问题与窘境

在这里插入图片描述
判断一个人是否为美人，既要看她各个五官，也要看她各个五官占的比例和协调。
既要照顾好局部信息，也要照顾好全局信息。
局部信息用小的感受野进行感受，而全局信息用大的感受野进行感受。
在这里插入图片描述

transformer 的优势

在这里插入图片描述
0号token在第一层就可以看到其它所有的token。
而CNN在多层卷积后才有这个机会。（比如最开始是3x3的卷积，下一层是9x9的卷积，只有在下一层时才能够看到其他8个3x3的卷积部分）
在这里插入图片描述

在这里插入图片描述

晓源Galois
关注
专栏目录
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值