qq_52053775的博客

1.EffificientNet的基线网络2.MBConv结构如图所示，1*1的卷积用于升维，将输入通道数变为filters_in * expand_ratio,Depwise Conv是深度可分离卷积，SE是Squeeze-and-Excitation模块，是Luong注意力机制在图像中的应用，下面1*1的卷积用于降维，将维度调整为filters_out，最后是Dropout层，减少过拟合。2.1 深度可分离卷积对于5x5x3的输入，如果想要得到3x3x4的f...

1.做了什么卷积神经网络(ConvNets)通常是在固定的资源预算下开发的，如果有更多的资源可用，则会扩大规模以获得更好的准确性。在本文中，我们系统地研究了模型的缩放，并确定了仔细平衡网络的深度、宽度和分辨率可以导致更好的性能。基于这一观察结果，我们提出了一种新的尺度方法，该方法使用简单而高效的复合系数均匀地调整深度/宽度/分辨率的所有维度。我们证明了该方法在扩大移动网络和ResNet上的有效性。作者使用神经结构搜索来设计一个新的基线网络，并对其进行扩展，以获得一系列模型，称为效率网，它实现了比以前

1.网络结构2.基于Tensorflow构建DenseNetimport tensorflow as tffrom tensorflow import kerasdef conv_fn(x,growth_rate): x1 = keras.layers.BatchNormalization()(x) x1 = keras.layers.Activation('relu')(x1) x1 = keras.layers.Conv2D(4*growth_rate,1,

1.核心思想最近的研究表明，如果在卷积网络的输入与输出之间添加短连接（shorter connections），那么可以使得网络变得更深、更准，并且可以更有效的训练。本文，我们围绕短连接思想，提出密集卷积网络（DenseNet）：前向传播中，每一层都与其前面的所有层连接。传统的L层卷积网络有L个连接（每层都有一个连接），而我们的网络有L(L+1)/2个连接。对于网络的每一层，前面所有层的网络都作为该层的输入，那么本身的特征图作为后续所有层的输入。2.优势DenseNet具有几...

1.Inception-ResNet-V2结构：2.代码实现# 构建卷积块def conv_fn(x,filters,kernel_size,strides,padding="same",activation="relu"): x = keras.layers.Conv2D(filters,kernel_size=kernel_size,strides=strides,padding=padding)(x) x = keras.layers.BatchNormal

论文链接:https://arxiv.org/pdf/1602.07261.pdf1.提出问题是不是结合残差连接与Inception结构能够产生更好的结果？2.做了什么我们给出了充足的实验证据，残差连接使得Inception网络训练速度得到巨大的提升。论文给出了几种新的主流网络结构（residual and non-residual Inception networks）。我们进一步阐明，在保证宽Residual Inception网络的稳定性...

在这次实战训练中，首先对下载的猫十二数据集进行预处理，使用了tensorflow构建resnet模型，在学习率调度上，使用了1周期调度。

1.提出问题深度神经网络很难训练，不仅仅是过拟合的问题，而且训练不动，训练误差很高2.干了什么为了解决这个问题，我们提出残差学习框架（residual learning framework），使得神经网络的训练变得容易，并且我们的网络比之前所有的网络都要深。3.解决方法我们将网络层（layers）明确的定义为需要学习的残差函数（residual function，关于输入的函数），而不是学习未指定的函数（unreferenced functions）。4.网络结构Plain

1.inception整体结构1.figure5实现def inception_1(x,param1,param2,param3,param4): # branch1 1*1-3*3-3*3 branch1 = conv_fn(x,filters=param1[0],kernel_size=(1,1),strides=1) branch1 = conv_fn(branch1,filters=param1[1],kernel_size=(3,3),strides=1)

1.Inception v2改进策略（1）卷积核分解5*5——3*3从计算代价上考虑，更大的卷积核（比如5x5或者7x7）计算代价的增长具有不对称性。比如，5x5滤波器参数量是3x3滤波器参数量的25/9=2.78倍。当然，在网络的前几层，5x5的卷积核可以获得更大的视野范围，以及获取空间信息之间的相关性，所以降低卷积核大小的代价会降低网络的表达能力。当然，我们是不是可以用多层的网络（参数更少）代替5x5卷积层，并且保持输入和输出的大小不变。如果我们放大5x5的卷积计算图，我们可以看...

1.解决问题损失出现在最后，在反向传播的过程中，后面的层梯度较大，训练较快，数据在最底部，底部层梯度较小，训练较慢。底部层一变化，所有都得跟着变·最后的那些层需要重新学习多次，导致收敛变慢2.批量归一化的思想·固定小批量输入的分布（均值和方差)然后再做额外的调整（可学习的参数):3.作用在全连接层和卷积层输出上，激活函数前全连接层和卷积层输入上●对全连接层，作用在特征维●对于卷积层，作用在通道维我们可以将每个像素看做一个样本的话，（这种思想也常用语1*1.

1.导包from tensorflow import kerasimport tensorflow as tffrom keras.preprocessing import imageimport randomfrom matplotlib import pyplot as pltimport cv2from tqdm import tqdm2.数据预处理cat_12数据集包含3个部分，训练集cat_12_train,测试集cat_test,以及存储图片名称及标签的train_li

1.GoogLeNet神经网络GoogLeNet专注于加深网络结构，同时引入了新的基本结构——Inception模块，以增加网络的宽度。GoogLeNet一共22层，没有全连接层，在2014年的ImageNet图像识别挑战赛中获得了冠军。GoogLeNet最初始的想法很简单，想要更好的预测效果，就要从网络深度和网络宽度两个角度出发增加网络的复杂度。但这个思路有两个较为明显的问题。首先，更复杂的网络意味着更多的参数，就算是ILSVRC这种有1000类标签的数据集也很容易...

1.数据详情cat_12数据集包含3个部分，训练集cat_12_train,测试集cat_test,以及存储图片名称及标签的train_list.txt2.数据预处理train_list.txt文件存储了文件名称和标签，文件格式如下，我们定义了prepare_image函数分别将文件路径与标签存储于X_train与y_train中,并打乱数据加载数据时，使用keras.image模块进行数据的加载，并进行数据归一化操作from keras.preprocessing impo.

1.网络概述在网络深度与网络性能的关系上，牛津大学视觉几何团队提出了一种深层次且性能良好的网络模型，即VGG网络模型。VGG很好地继承了AlexNet的衣钵，同时拥有着鲜明的特点，即网络层次较深。牛津大学视觉几何团队在ILSVRC2014上提出了VGGNet。VGGNet的网络结构简单、规整且高效。VGGNet较为典型的网络结构主要有VGG16和VGG19，本节主要介绍VGG16，其网络结构如表5-1所示。VGGNet对输入图像的默认大小是224×224×3。从表5-1中可以看出，VGG16指该网.

1.项目简介1.数据集cat_12数据集包含3个部分，训练集cat_12_train,测试集cat_test,以及存储图片名称及标签的train_list.txt2.数据预处理

一、概述AlexNet是由2012年ImageNet竞赛参赛者Hinton和他的学生AlexKrizhevsky设计的。AlexNet在当年赢得了ImageNet图像分类竞赛的冠军，使得CNN成为图像分类问题的核心算法模型，同时引发了神经网络的应用热潮。1.AlexNet的创新作为具有历史意义的网络结构，AlexNet包含以下方面的创新。(1)非线性激活函数ReLU在AlexNet出现之前，sigmoid是最为常用的非线性激活函数。sigmoid函数能够把输入的连续实值压缩到0和...

LeNet-5为卷积神经网络架构的鼻祖，它是由Yann Lecun于1998年创建，已经被广泛应用于手写体数字识别一、网络架构LeNet-5架构 层 类型 特征图 大小 内核大小 步幅 激活函数 OUT 全连接 —— 10 —— —— RBF F6 全连接 —— 84 —— —— tanh C4 卷积 120 1*1 5*5 1 ...

1、加载数据from tensorflow import keras# 加载数据(X_train_full, y_train_full), (X_test, y_test) = keras.datasets.fashion_mnist.load_data()X_train, X_valid = X_train_full[:-5000], X_train_full[-5000:]y_train, y_valid = y_train_full[:-5000], y_train_full[-50