Non-local Neural Networks

1. 摘要 卷积和循环神经网络中的操作都是一次处理一个局部邻域,在这篇文章中,作者提出了一个非局部的操作来作为捕获远程依赖的通用模块。 受计算机视觉中经典的非局部均值方法启发,我们的非局部操作计算某一位置的响应为所有位置特征的加权和。而且,这个模块可以插入到许多计算机视觉网络架构中去。 2...

2019-05-16 10:38:48

阅读数 7

评论数 0

RAM: Residual Attention Module for Single Image Super-Resolution

1. 摘要 注意力机制是深度神经网络的一个设计趋势,其在各种计算机视觉任务中都表现突出。但是,应用到图像超分辨领域的注意力模型大都没有考虑超分辨和其它高层计算机视觉问题的天然不同。 作者提出了一个新的注意力模型,由针对 SR 问题优化的新的通道和空间注意力机制以及将这两者结合起来的融合机制组...

2019-05-15 10:20:46

阅读数 16

评论数 0

CSAR——Channel-wise and Spatial Feature Modulation Network for Single Image Super-Resolution

1. 摘要 CNN 中的特征包含着不同类型的信息,它们对图像重建的贡献也不一样。然而,现在的大多数 CNN 模型却缺少对不同信息的辨别能力,因此也就限制了模型的表示容量。 另一方面,随着网络的加深,来自前面层的长期信息很容易在后面的层被削弱甚至消失,这显然不利于图像的超分辨。 作者提出了...

2019-05-13 19:46:17

阅读数 17

评论数 0

CBAM: Convolutional Block Attention Module

1. 摘要 作者提出了一个简单但有效的注意力模块 CBAM,给定一个中间特征图,我们沿着空间和通道两个维度依次推断出注意力权重,然后与原特征图相乘来对特征进行自适应调整。 由于 CBAM 是一个轻量级的通用模块,它可以无缝地集成到任何 CNN 架构中,额外开销忽略不计,并且可以与基本 CNN...

2019-05-13 08:43:40

阅读数 10

评论数 0

RCAN——Image Super-Resolution Using Very Deep Residual Channel Attention Networks

1. 摘要 在图像超分辨领域,卷积神经网络的深度非常重要,但过深的网络却难以训练。低分辨率的输入以及特征包含丰富的低频信息,但却在通道间被平等对待,因此阻碍了网络的表示能力。 为了解决上述问题,作者提出了一个深度残差通道注意力网络(RCAN)。特别地,作者设计了一个残差中的残差(RIR)结构...

2019-05-12 11:46:28

阅读数 55

评论数 0

How Does Batch Normalization Help Optimization?

1. 摘要 BN 是一个广泛应用的用于快速稳定地训练深度神经网络的技术,但是我们对其有效性的真正原因仍然所知甚少。 输入分布的稳定性和 BN 的成功之间关系很小,BN 对训练过程更根本的影响是:它让优化更加平滑。这种平滑让梯度更加可预测更加稳定,从而加速训练。 2. BN 和 intern...

2019-04-30 12:14:30

阅读数 10

评论数 0

DenseNet——Densely Connected Convolutional Networks

1. 摘要 传统的 L 层神经网络只有 L 个连接,DenseNet 的结构则有 L(L+1)/2 个连接,每一层都和前面的所有层进行连接,所以称之为密集连接的网络。 针对每一层网络,其前面所有层的特征图被当作它的输入,这一层的输出则作为其后面所有层的输入。 DenseNet 有许多优点...

2019-04-29 21:32:30

阅读数 11

评论数 0

2019 春季算法工程师实习生招聘历程

持续了将近两个月的 2019 春季实习生招聘总算是告了一个段落,虽说去年入学时便已知道找工作就在眼前,但当它真正到来的时候,自己依然是措手不及。好在历经坎坷,结果总归是好的,希望接下来的实习收获满满。 1. 前言 春节假期还没有结束,一些公司的实习生招聘已然开始。等我来到学校,完善简历,大致过了...

2019-04-28 12:27:47

阅读数 188

评论数 2

剑指 Offer——连续子数组的最大和

1. 题目 2. 解答 初始化 sum=0,然后遍历数组进行累加。如果 sum 变为负数,也就说再继续累加的话贡献为负,我们需要更新 sum=0,重新开始累加。 初始化 max_sum 为数组的第一个元素,之所以不初始化为零,就是防止出现数组中全为负数的情况,比如 [-2, -1, -3, -4...

2019-04-27 15:39:02

阅读数 16

评论数 0

均匀分布的公交站等车问题

小森在公交站等车,有三路公交车均可乘坐到达目的地。A 公交车到站的时间为 0 到 10 分钟内的任一时间点,且服从 [0, 10] 的均匀分布。同样地,B 公交车到站的时间为 0 到 20 分钟内的任一时间点,C 公交车到站的时间为 0 到 30 分钟内的任一时间点。求问小森的平均等车时间? 1...

2019-04-23 12:44:11

阅读数 64

评论数 0

ResNet——Deep Residual Learning for Image Recognition

1. 摘要 更深的神经网络通常更难训练,作者提出了一个残差学习的框架,使得比过去深许多的的网络训连起来也很容易。 在 ImageNet 数据集上,作者设计的网络达到了 152 层,是 VGG-19 的 8 倍,但却有着更低的复杂性。通过集成学习模型最终取得了 3.57% 的错误率,获得了 I...

2019-04-22 13:23:20

阅读数 76

评论数 0

Inception——Going deeper with convolutions

1. 摘要 作者提出了一个代号为 Inception 的卷积神经网络架构,这也是作者在 2014 年 ImageNet 大规模视觉识别挑战赛中用于分类和检测的新技术。 通过精心的设计,该架构提高了网络内计算资源的利用率,因而允许在增加网络的深度和宽度的同时保持计算预算不变。 在作者提交的...

2019-04-21 23:09:20

阅读数 19

评论数 0

VGG——Very deep convolutional networks for large-scale image recognition

1. 摘要 在使用非常小(3×3)的卷积核情况下,作者对逐渐增加网络的深度进行了全面的评估,通过设置网络层数达 16-19 层,最终效果取得了显著提升。 2. 介绍 近来,卷积神经网络在大规模图像识别领域取得了巨大的成功,这一方面归功于大规模公开数据的出现,另一方面则是计算能力的提升。在 Al...

2019-04-20 12:16:28

阅读数 18

评论数 0

ReLU——Deep Sparse Rectifier Neural Networks

1. 摘要 ReLU 相比 Tanh 能产生相同或者更好的性能,而且能产生真零的稀疏表示,非常适合自然就稀疏的数据。 采用 ReLU 后,在大量的有标签数据下,有没有无监督预训练模型取得的最好效果是一样的,这可以被看做是训练深层有监督网络的一个新的里程碑。 2. 背景 2.1. 神经元科学...

2019-04-19 16:37:28

阅读数 20

评论数 0

Xavier——Understanding the difficulty of training deep feedforward neural networks

1. 摘要 本文尝试解释为什么在深度的神经网络中随机初始化会让梯度下降表现很差,并且在此基础上来帮助设计更好的算法。 作者发现 sigmoid 函数不适合深度网络,在这种情况下,随机初始化参数会让较深的隐藏层陷入到饱和区域。 作者提出了一个新的参数初始化方法,称之为 Xavier 初始化...

2019-04-18 10:31:43

阅读数 9

评论数 0

AlexNet——ImageNet Classification with Deep Convolutional Neural Networks

1. 摘要 本文的模型采用了 5 层的卷积,一些层后面还紧跟着最大池化层,和 3 层的全连接,最后是一个 1000 维的 softmax 来进行分类。 为了减少过拟合,在全连接层采取了 dropout,实验结果证明非常有效。 2. 数据集 ImageNet 数据集包含了超过 15,000,...

2019-04-17 10:09:12

阅读数 8

评论数 0

PReLU——Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

1. 摘要 在 ReLUReLUReLU 的基础上作者提出了 PReLUPReLUPReLU,在几乎没有增加额外参数的前提下既可以提升模型的拟合能力,又能减小过拟合风险。 针对 ReLU/PReLUReLU/PReLUReLU/PReLU 的矫正非线性,作者设计了一个鲁棒的的参数初始化方法。...

2019-04-16 15:51:53

阅读数 12

评论数 0

剑指 Offer——和为 S 的连续正数序列

1. 题目 2. 解答 定义两个指针,刚开始分别指向 1 和 2,求出位于这两个指针之间的元素和。如果和大于 S,前面的指针向后移直到和不大于 S 为止;反之,如果和等于 S,则此时两个指针之间的元素序列即为一个所求的结果,后面的指针向后移动。 第一个指针的范围为 [1,S+12)[1, \fr...

2019-03-30 13:46:54

阅读数 29

评论数 0

剑指 Offer——数字在排序数组中出现的次数

1. 题目 2. 解答 时间复杂度为 O(n)O(n)O(n) 的算法,顺序遍历数组,当该数字第一次出现时开始记录次数。 class Solution { public: int GetNumberOfK(vector<int> data ,int k) { ...

2019-03-30 13:43:57

阅读数 15

评论数 0

剑指 Offer——和为 S 的两个数字

1. 题目 2. 解答 由于数组是已经排好序的,我们可以定义两个指针,第一个指针指向第一个元素,第二个指针指向最后一个元素,然后求出这两个元素的和,与目标和进行比较。若小于目标和,第一个指针向前移动;若大于目标和,第二个指针向后移动。 若等于目标和,题目中要求输出乘积最小的。由于两个元素的乘积肯...

2019-03-30 13:42:35

阅读数 48

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭