深度学习
一位美女
这个作者很懒,什么都没留下…
展开
-
[论文笔记]Towards Evaluating the Robustness of Neural Networks
之前有人提出蒸馏网络,说是可以为目标网络模型提供很强的鲁棒性,能够把已出现的攻击的成功率从95%锐减到0.5%。作者提出了新的攻击方法,成功攻击了蒸馏网络。(c&w)文章简介:证明defensive distillation不能显著地提高模型的鲁棒性介绍了3种新的攻击算法,可以在distilled和undistilled神经网络达到100%的攻击成功率本文的攻击相比于以前的攻击通常会更有效本文的对抗性例子可以从不安全的网络模型迁移到distilled(安全)的网络模型去数据集:MNIS原创 2020-09-02 14:51:59 · 455 阅读 · 0 评论 -
EfficientNet
作者希望找到一个可以同时兼顾速度与精度的模型放缩方法,为此,作者重新审视了前人提出的模型放缩的几个维度:网络深度、网络宽度、图像分辨率,前人的文章多是放大其中的一个维度以达到更高的准确率,比如 ResNet-18 到 ResNet-152 是通过增加网络深度的方法来提高准确率。...原创 2020-08-11 20:14:09 · 524 阅读 · 0 评论 -
MobileNetV1&MobileNetV2
1. 深度可分离卷积分成两步Depthwise+Pointwise1.1 Depthwise深度卷积1.2 Pointwise逐点卷积1.3 实现1)使用函数tf.keras.layers.DepthwiseConv2D和tf.keras.layers.Conv2D组合使用实现:tf.keras.layers.DepthwiseConv2D(kernel_size=(3, 3), strides=1, padding='same', depth_multiplier=1),tf.keras原创 2020-08-11 17:35:27 · 390 阅读 · 0 评论 -
DenseNet:比ResNet更优的CNN模型
1. DenseNet & ResNet在计算机视觉领域,卷积神经网络(CNN)已经成为最主流的方法,比如最近的GoogLenet,VGG-19,Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现,ResNet可以训练出更深的CNN模型,从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”(shortcuts,skip connection),这有助于训练过程中梯度的反向传播,从而能训练出更深的CNN网络。今天我们要介绍的是DenseN原创 2020-08-07 13:54:27 · 1001 阅读 · 0 评论 -
优化算法
Momentum优化算法通常情况我们在训练深度神经网络的时候把数据拆解成一小批一小批地进行训练,这就是我们常用的mini-batch SGD训练算法,然而虽然这种算法能够带来很好的训练速度,但是在到达最优点的时候并不能够总是真正到达最优点,而是在最优点附近徘徊。另一个缺点就是这种算法需要我们挑选一个合适的学习率,当我们采用小的学习率的时候,会导致网络在训练的时候收敛太慢;当我们采用大的学习率的时候,会导致在训练过程中优化的幅度跳过函数的范围,也就是可能跳过最优点。我们所希望的仅仅是网络在优化的时候网络的损转载 2020-08-02 20:47:12 · 392 阅读 · 0 评论 -
Inception
推荐一个翻译了很多经典神经网络论文的github介绍Inception V1是来源于《Going deeper with convolutions》,论文主要介绍了,如何在有限的计算资源内,进一步提升网络的性能。提升网络的性能的方法有很多,例如硬件的升级,更大的数据集等。但一般而言,提升网络性能最直接的方法是增加网络的深度和宽度。其中,网络的深度只的是网络的层数,宽度指的是每层的通道数。但是,这种方法会带来两个不足:a) 容易发生过拟合。当深度和宽度不断增加的时候,需要学习到的参数也不断增加,巨大的原创 2020-07-21 13:24:34 · 226 阅读 · 0 评论 -
三维卷积&空洞卷积
三维卷积1. 大致的结构下面就是 3D 卷积,其过滤器深度小于输入层深度(核大小<通道大小)。因此,3D 过滤器可以在所有三个方向(图像的高度、宽度、通道)上移动。在每个位置,逐元素的乘法和加法都会提供一个数值。因为过滤器是滑过一个 3D 空间,所以输出数值也按 3D 空间排布。也就是说输出是一个 3D 数据。2. 2D与3D对比2D常用于计算机视觉、图像处理领域:2D 卷积2D卷积操作如图1所示,为了解释的更清楚,分别展示了单通道和多通道的操作。且为了画图方便,假定只有1个filter,原创 2020-07-21 12:09:22 · 2541 阅读 · 0 评论 -
转置卷积 深度卷积 分组卷积
文章目录普通卷积转置卷积深度可分离卷积(1) 普通卷积(2) 深度可分离卷积(3)总结分组卷积(Group convolution)(1) 介绍(2) 分组卷积具体的例子普通卷积可以直观的理解为一个带颜色小窗户(卷积核)在原始的输入图像一步一步的挪动,来通过加权计算得到输出特征。 如下图。但是实际在计算机中计算的时候,并不是像这样一个位置一个位置的进行滑动计算,因为这样的效率太低了。计算机会将卷积核转换成等效的矩阵,将输入转换为向量。通过输入向量和卷积核矩阵的相乘获得输出向量。输出的向量经过整形便可原创 2020-07-17 20:31:24 · 308 阅读 · 0 评论 -
神经网络简介 & 利用minist数据集实现手写数字识别和识别精度计算
三层神经网络实现输入层到第一层信号传递:X = np.array([1.0, 0.5]) #输入W1 = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]]) #权重B1 = np.array([0.1, 0.2, 0.3])#偏置 print(W1.shape) # (2, 3) print(X.shape) # (2,) print(B1.shape) # (3,)A1 = np.dot(X, W1) + B1 #这个A1的结果还没有经过激活函数原创 2020-06-30 13:28:54 · 1418 阅读 · 0 评论