过路张
这个作者很懒,什么都没留下…
展开
-
EfficientNet V2
Fused-MBConv 根据expansion是否等于1 有2种。针对3:对每个stage采用非均匀的缩放策略来缩放模型。针对2:引入Fused-MBConv。针对1:降低图像尺寸。注意区分MBConv。原创 2023-07-10 23:33:50 · 74 阅读 · 0 评论 -
EfficientNet V1
这篇文章的创新点主要是讨论了图像输入的分辨率,网络的深度(网络层数)和宽度(网络通道数)的影响。用的MBConv就是MobileNetV3的block。原创 2023-07-10 22:33:06 · 86 阅读 · 0 评论 -
ShuffleNet
给我的感觉有点像self-attention。相比于v1 重新修改了网络结构。原创 2023-07-09 23:19:43 · 78 阅读 · 0 评论 -
MobileNet v3
不改变通道数,先进行一个自适应平均池化,fc1先降维将通道数变成输入的1/4,然后fc2在升维变成输入的通道。1.相比于v2 主要是在Block 模块加入了注意力模块。2.激活函数从ReLU6 变成了Hardswish。原创 2023-07-09 16:24:25 · 87 阅读 · 0 评论 -
MobileNet v2
2.从高维空间经过relu映射回二维空间,信息损失较少,从低维空间映射回二维空间,信息损失较多。则可认为,在低维空间使用relu会损失较多信息,所以作者在倒残差结构的降维操作时,使用线性激活。1.为了解决v1 DW卷积的卷积核大部分为0,也就是其卷积核没有发挥提取特征作用。那么先通过1*1卷积将维度上升,再使用深度卷积,深度卷积的输入输出通道数更高,就能够提取更多的信息。引入了倒残差结构,与ResNet(1×1 降维;3×3改变高,宽;1×1升维)相反1×1 升维;3×3改变高,宽;原创 2023-07-08 21:47:43 · 97 阅读 · 0 评论 -
ResNet
1.通过使用BN解决了梯度消失或梯度爆炸的问题,使数据在一个正态分布内,通过反向传播学习一个合适的均值和方差2.通过残差解决了退化问题(层数多的网络可能效果还没有层数少的网络效果好,但是引入残差块,F(x)+x, F(x)最差为0,解决了上述可能出现的问题)上图对于编写代码更加清晰,但是stage2,3,4 的第一个Bottleneck的stride=2,因为要对图片进行下采样,图中有点小问题参考:https://blog.csdn.net/frighting_ing/article/detai原创 2023-07-08 12:54:26 · 52 阅读 · 0 评论 -
GoogLeNet
参考:https://blog.csdn.net/sxn0121/article/details/127309179。原创 2023-07-07 15:25:34 · 46 阅读 · 0 评论 -
VGG
不同版本的VGG的特征提取器不一样,但是分类器是一样的,因此可以区分不同的特征提取器来一次实现多个版本的vgg。7的卷积核,VGG就是通过这样。由上图感受野可知,堆叠3个3。3的卷积核可以代替一个7。原创 2023-07-06 23:30:21 · 80 阅读 · 0 评论 -
AlexNet
【代码】AlexNet。原创 2023-07-05 21:45:55 · 84 阅读 · 0 评论 -
迁移学习
以VGG模型为例,使用迁移学习进行一个分类任务。迁移学习主要部分代码。原创 2023-07-05 17:40:53 · 51 阅读 · 0 评论 -
pytorch 利用卷积核处理图像
对于图像来说,不能直接reshape成你想要的形状,这样显示的图像会出问题,对于numpy.ndarray 可以使用reshape(1,253,253,3) 这种扩维不会改变图片内容,然后用transpose(0,3,1,2)方法二:(处理灰度图像)原创 2023-07-04 22:57:33 · 108 阅读 · 0 评论 -
鸟类细粒度分类
该数据集特点:可判别区域只在图像的很小的一块区域内,不像那种猫狗分类,只要提取轮廓特征就能进行判别。主要在最后一步,提取玩特征向量之后的外积得到一个高阶的特征(被证明有利于细粒度的分类)采用双线性模型进行识别,确实要比单个模型的效果要好。采用VGG模型作为基模型。原创 2023-06-04 15:54:15 · 120 阅读 · 0 评论 -
LSTM 原理复现
(某人在复试完之后跟我说有7个,当时我百度都凑不够7个)LSTM 含有3个门:输入门,输出门,遗忘门。原创 2023-05-10 19:39:08 · 153 阅读 · 0 评论 -
RNN 原理复现
【代码】RNN 原理复现。原创 2023-05-10 13:55:32 · 96 阅读 · 0 评论 -
Attention-based Seq2seq
来自:Effective Approaches to Attention-based Neural Machine Translation。Attention-based Seq2seq 实现一个分类的任务。原创 2023-05-08 22:16:17 · 58 阅读 · 0 评论 -
Swin Transformer
Swin Transformer输入图片的尺寸最好是window_size*32 的整数倍import osimport argparseimport torchimport torch.optim as optimfrom torch.utils.tensorboard import SummaryWriterfrom torchvision import transformsfrom my_dataset import MyDataSetfrom model import swi原创 2023-05-06 11:25:03 · 171 阅读 · 0 评论 -
Vision Transformer 实现图片分类
Vision Transformer 实现图片分类原创 2023-04-16 14:42:05 · 527 阅读 · 0 评论 -
Attention Is All You Need
Transformer Encoder 实现2分类:基于Transformer 实现谣言检测系统原创 2023-04-12 17:12:57 · 97 阅读 · 0 评论