当前搜索:

深度学习入门基础讲义

工作确定以后,闲暇时间做了如下一个PPT讲义,用于向实验室新生学弟学妹介绍深度学习。他们大部分在本科期间学习通信相关专业课程,基本没有接触过图像处理和机器学习。对于一个研究生而言,自学应当是一个最基本也是最重要的能力。自学不仅是独立学习,更是主动学习。因此,该讲义的目的主要是为新生打开一个大门,使其对深度学习有一个模糊的认识,并顺便了解一些常见的概念。 而真正走进深度学习,还需要各自的努力。该讲义尽...
阅读(289) 评论(1)

COCO Loss

2017NIPS: 《Rethinking Feature Discrimination and Polymerization for Large-scale Recognition》Github项目主页: https://github.com/sciencefans/coco_loss文章方法简称 congenerous cosine loss, “COCO Loss”,其目的同样是: 拉近同类...
阅读(654) 评论(0)

Dual Path Networks

《Dual Path Networks》一篇讲如何设计网络结构的文章,大体上整合了ResNet和 DenseNet的优点: - ResNet: 侧重于特征的再利用(因为整合特征采用的是加和操作) - DenseNet: 侧重于新特征的发掘(因为整合特征采用的是拼接操作)我认为文章最大的贡献是为ResNet和DenseNet找到了一个形式统一的数学表达。Github项目主页: https://...
阅读(333) 评论(0)

DenseNet

2017CVPR Best Paper: 《Densely Connected Convolutional Networks》Github项目主页: https://github.com/liuzhuang13/DenseNet知乎上的一些讨论: 如何评价Densely Connected Convolutional Networks?DenseNet属于对ResNet扩展的一系列工作中比较有代表性...
阅读(778) 评论(1)

不规则卷积神经网络

来自中科院自动化所的“不规则卷积神经网络”。文章链接: 《Irregular Convolutional Neural Networks》从直观上来看,一个不规则的卷积核(其shape可以自动学习)似乎更适应输入的pattern。 但考虑更多方面,比如学习效率、操作复杂度这些因素。个人认为,不规则卷积目前不是一个很值得称赞的工作。1. 方法介绍上图中,图(a)表示一个不规则卷积; 图(b)表示,尽...
阅读(460) 评论(1)

CReLU激活函数

一种改进ReLU激活函数的文章,来自ICML2016.文章链接: 《Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units》caffe实现: https://github.com/farmingyard/ShuffleNet1. 背景介绍整个文章的出发点来自于下...
阅读(1561) 评论(0)

梯度下降优化算法总结

本次介绍梯度下降优化算法。主要参考资料为一篇综述《An overview of gradient descent optimization algorithms》...
阅读(1241) 评论(0)

CNN不能识别Negative图像

一篇挺有意思的短文 《Deep Neural Networks Do Not Recognize Negative Images》。CNN可能还无法像人类一样理解到语义层面,而语义理解很可能是以后人工智能的一个重要层面。...
阅读(1889) 评论(0)

Dilated Convolution

本次介绍一篇有关语义分割的文章,其核心思想是如何不失分辨率的扩大感受野,该方法已被caffe默认支持。 该思想也可以应用到目标检测上来。文章《MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS》github项目链接: https://github.com/fyu/dilationIntroduction...
阅读(8257) 评论(0)

思考深度学习的泛化能力

神经网络通过记忆学习 传统观点 论文观点 论文实验 神经网络 不 通过记忆学习 参考资料深度神经网络往往带有大量的参数,但依然表现出很强的泛化能力(指训练好的模型在未见过的数据上的表现)。深度神经网络为何会拥有如此强的泛化能力?最近,两篇论文引起了广泛思考。神经网络通过记忆学习《Understanding deep learning requires rethinking generalizatio...
阅读(4630) 评论(0)

深度学习——MSRA初始化

本次简单介绍一下MSRA初始化方法,方法同样来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.Motivation MSRA初始化 推导证明 补充说明 Motivation网络初始化是一件很重要的事情。但是,传统的固定方差的高斯分布初始化,在...
阅读(8463) 评论(2)

深度学习——PReLU激活

本次介绍PReLU激活函数以及MSRA初始化方法,方法来自于何凯明paper 《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》.PReLU激活PReLU(Parametric Rectified Linear Unit), 顾名思义:带参数的ReLU。二者的定义和区...
阅读(11656) 评论(0)

深度学习——Xavier初始化方法

“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》,可惜直到近两年,这个方法才逐渐得到更多人的应用和认可。为了使得网络中信息更好的流动,每一层输出的方差应该尽量相等。基于这个目标,现在我们就去推导一下:每一层的权...
阅读(26399) 评论(10)

GoogLeNet系列解读

本文介绍的是著名的网络结构GoogLeNet及其延伸版本,目的是试图领会其中的思想而不是单纯关注结构。GoogLeNet Incepetion V1 Motivation Architectural Details GoogLeNet Conclusion GoogLeNet Inception V2 Introduction General Design Principles Factorizi...
阅读(38097) 评论(56)

解读Batch Normalization

目录 目录 1-Motivation 2-Normalization via Mini-Batch Statistics 测试 BN before or after Activation 3-Experiments本次所讲的内容为Batch Normalization,简称BN,来源于《Batch Normalization: Accelerating Deep Network Training b...
阅读(11470) 评论(1)
18条 共2页1 2 下一页 尾页
    个人资料
    • 访问:516096次
    • 积分:5850
    • 等级:
    • 排名:第4934名
    • 原创:125篇
    • 转载:11篇
    • 译文:1篇
    • 评论:491条