卷积神经网络
文章平均质量分 67
经典模型
GONG Dawei
浙江大学光学工程专业在读研究生
展开
-
EfficientNet网络及Pytorch实现
2019年由Google Brain提出,论文地址:EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks论文提出了一种新的模型缩放方法,它使用一个简单而高效的复合系数来从depth, width, resolution 三个维度放大网络,不会像传统的方法那样任意缩放网络的维度,基于神经结构搜索技术可以获得最优的一组参数(复合系数)。 图43 Compound Scaling 图44 Eff原创 2021-03-31 17:14:13 · 645 阅读 · 0 评论 -
ShuffleNet网络及Pytorch实现
2018年提出,论文地址ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices, ShuffeNet V2: Practical Guidelines for Effcient CNN Architecture Design卷积的group操作从AlexNet就已经有了,当时主要是解决模型在双GPU上的训练。ResNeXt借鉴了这种group操作改进了原本的ResNet。MobileNet则是采用原创 2021-03-31 17:12:35 · 755 阅读 · 0 评论 -
MnasNet网络及Pytorch实现
2019年由Google大脑团队提出,论文地址:MnasNet: Platform-Aware Neural Architecture Search for Mobile比MobileNet精度和实时性更高的模型,用强化学习搜索出来的深度卷积神经网络,主要优化目标有两个,识别准确率和CPU运算延迟。 图36 神经架构搜索其中,模型只在ImageNet上简单跑“5个epochs”,然后转换成TFLite,再在Pixel 1上用单CPU核测试“延迟”。所以搜索出来的8K个模型,大多数也还是没在原创 2021-03-31 17:10:22 · 1148 阅读 · 1 评论 -
DenseNet网络及Pytorch实现
DenseNet是2017年CVPR的Best paper,论文地址,Densely Connected Convolutional Networks随着CNN网络层数的不断增加,gradient vanishing和model degradation问题出现在了人们面前, BatchNormalization的广泛使用在一定程度上缓解了gradient vanishing的问题,而ResNet和Highway Networks通过构造恒等映射设置旁路,进一步减少了gradient vanishing和m原创 2021-03-30 23:14:58 · 359 阅读 · 0 评论 -
SqueezeNet网络及Pytorch实现
2016年提出,论文地址SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE**在不大幅降低模型精度的前提下,最大程度的提高运算速度。**提高运算速度有两个可以调整的方向:1.减少可学习参数的数量2.减少整个网络的计算量这个方向带来的效果是非常明显的:1.减少模型训练和测试时候的计算量,单个step的速度更快;2.减小模型文件的大小,更利于模型的保存和传输;3.可学习参数更少,原创 2021-03-30 23:13:41 · 566 阅读 · 0 评论 -
MobileNet V1 V2网络及Pytorch实现
2017年Google团队提出MobileNetV1,2018年Google团队提出MobileNetV2,论文地址MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications, MobileNetV2: Inverted Residuals and Linear Bottlenecks专注于移动端或嵌入式设备中的轻量级CNN网络,相比于传统CNN,在准确率小幅度降低的前提下大大减小模型参数与运算量。(原创 2021-03-30 23:12:34 · 350 阅读 · 0 评论 -
ResNet网络及Pytorch实现
2015年由何恺明提出,论文地址Deep Residual Learning for Image Recognition 图19 Basicblock,Bottleneck block**注意:**主分支与shortcut的输出特征矩阵shape必须相同,1×1的卷积核用来降维和升维参数个数对比,假设输入为256d:左边256×256×3×3+256×256×3×3=1179648右边256×64×1×1+64×64×3×3+256×64×1×1=69632 图20 Res原创 2021-03-30 23:10:31 · 245 阅读 · 0 评论 -
Inception V2 V3网络及Pytorch实现
2015年由google团队提出,论文地址Batch Normalization: Accelerating Deep Network Training b y Reducing Internal Covariate Shift, Rethinking the Inception Architecture for Computer Vision问题:representatial bottleneck,特征描述瓶颈是指中间某层对特征空间维度进行较大比例的压缩(比如使用pooling),导致很多特征丢失,虽然原创 2021-03-29 13:45:04 · 1135 阅读 · 0 评论 -
GoogLeNet网络及Pytorch实现
2014年由Google团队提出,论文地址Going deeper with convolutions图4 Inception ModuleFilter concatenation是指按深度进行拼接,所以每个分支所得的特征矩阵高和宽必须相同。(b)相对于(a)多了3个1×1的convolutions进行降维例如:假设feature map depth=512,不使用1×1conv进行降维与使用1×1conv进行降维的参数对比 图5 使用1×1卷积参数对比 图6 GoogL原创 2021-03-29 10:12:43 · 249 阅读 · 0 评论 -
VGG网络及Pytorch实现
2014年由牛津大学研究组Visual Geometry Group提出,论文地址Very Deep Convolutional Networks for Large-Scale Image Recognition图3 VGG网络结构文章亮点:通过堆叠多个3×3卷积核来代替大尺度卷积核(减少所需参数)。论文中提到:堆叠2个3×3的卷积核代替5×5的卷积核,堆叠3个3×3的卷积核代替7×7的卷积核,它们拥有相同的感受野。基本概念拓展:CNN感受野在CNN中,决定某一层输出结果中一个元素所对应的输入原创 2021-03-28 12:56:52 · 222 阅读 · 0 评论 -
AlexNet网络及Pytorch实现
2012年,由Hinton和他的学生Alex提出,论文地址ImageNet Classification with Deep Convolutional Neural Networks图2 AlexNet网络结构pytorch实现class AlexNet(nn.Module): def __init__(self, num_classes=1000): super(AlexNet, self).__init__() self.features = nn.S原创 2021-03-28 11:02:07 · 153 阅读 · 0 评论 -
LeNet网络及Pytroch实现
1994年,LeCun提出,论文地址Gradient-based learning applied to document recognition图1 LeNet5网络结构pytorch实现class LeNet5(nn.Module): def __init__(self): self.conv1 = nn.Conv2d(1, 6, 5, 1, 0) self.maxpool1 = nn.MaxPool2d(2, 2) self.conv2原创 2021-03-28 10:59:39 · 95 阅读 · 0 评论