- 博客(12)
- 资源 (3)
- 收藏
- 关注
RSS订阅翻译 深度可分离卷积
参考：https://www.yanxishe.com/TextTranslation/1639可分离卷积的基本介绍 任何看过MobileNet架构的人都会遇到可分离卷积（separable convolutions）这个概念。但什么是“可分离卷积”，它与标准的卷积又有什么区别？ 可分离卷积主要有两种类型：空间可分离卷积（spatial separable c...
2020-01-21 15:11:35
1928
原创 循环神经网络RNN【小记一】
什么是RNN 循环神经网络（Recurrent Neural Networks, RNN）已经被成功的应用于音乐生成、对话生成、图像生成、语音合成和分子设计。不同于传统的前向反馈神经网络（Feedforward Neural Networks, FNNS）,RNNS引入了定向循环，可以处理输入之间前后关联的问题。定向循环示图如下： ...
2020-01-20 10:09:05
891
原创 谈谈深度学习中的模型集成
前文已经给出了三种可提升模型性能的方法论：残差连接、正则化和深度可分离卷积。本文提出另一种强大的技术是模型集成（model ensembling）。 集成是指将一些列不同模型的预测结果汇集到一起，从而得到更好的预测结果。 集成依赖于这样的假设，即对于独立训练的不同良好模型，他们表现良好的可能是因为不同的原因：每个模型都从略有不同的角度观察数据来做出预测...
2020-01-17 15:03:36
2472
原创 深度学习中的超参数优化
构建深度学习模型时，你必须做出许多看似随意的决定：应该堆叠多少层？每层包含多少个单元或过滤器？激活函数应该使用relu还是其他函数？在某一层之后是否应该使用BatchNormalization？应该使用多大的dropout比率？还有很多，这些在架构层面的参数叫做超参数（hyperparameter），以便将其与模型参数区分开来，后者通过反向传播进行训练。 在实践中，经验丰...
2020-01-17 10:54:26
1040
原创 让深度学习模型的性能发挥到极致的方法
深度学习的表示瓶颈 在Sequential模型中，每个连续的表示层都构建于前一层之上，这意味着它只能访问前一层激活中包含的信息。如果某一层太小（比如特征维度太低），那么模型将会受限于该层激活中能够塞入多少信息。 你可以通过类比信号处理来理解这个概念：假设你有一条包含一些列操作的音频处理流水线，每个操作的输入都是前一个操作的输出，如果某个操作将信号裁剪到低频范...
2020-01-16 17:23:19
541
转载 resnet中的残差连接
本文转自微信公众号“言有三”：【模型解读】resnet中的残差连接，你确定真的看懂了？一、残差连接想必做深度学习的都知道skip connect，也就是残差连接，那什么是skipconnect呢？如下图上面是来自于resnet【1】的skip block的示意图。我们可以使用一个非线性变化函数来描述一个网络的输入输出，即输入为X，输出为F(x)，F通常包括了卷积，激活等操作。...
2020-01-16 11:48:32
1023
转载 详解残差网络
在VGG中，卷积网络达到了19层，在GoogLeNet中，网络史无前例的达到了22层。那么，网络的精度会随着网络的层数增多而增多吗？在深度学习中，网络层数增多一般会伴着下面几个问题计算资源的消耗 模型容易过拟合 梯度消失/梯度爆炸问题的产生问题1可以通过GPU集群来解决，对于一个企业资源并不是很大的问题；问题2的过拟合通过采集海量数据，并配合Dropout正则化等方法也可以有效避免；问题...
2020-01-15 15:54:20
1907
转载 卷积神经网络中的1x1卷积核的作用
前言在介绍卷积神经网络中的1x1卷积之前，首先回顾卷积网络的基本概念[1]。1. 卷积核（convolutional kernel）：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸（一般是奇数x奇数）。卷积核的个数就对应输出的通道数（...
2020-01-15 14:59:28
1826
原创 卷积神经网络CNN在序列处理中的应用
众所周知，CNN在机器视觉问题上表现出色，因为它能够进行卷积运算，从局部输入图块中提取特征，并能够将表示模块化，同时可以高效利用数据。 这些性质让卷积神经网络在计算机视觉领域表现优异，同样也让他对序列处理特别有效。时间可以被看做一个空间维度，就像二维图像的高度或宽度。 对于某些序列处理问题，这种一维卷积神经网络的效果可以媲美RNN，而且计算代价通常要...
2020-01-13 17:52:50
5380
1
转载 网络模型中Inception的作用与结构全解析
一 论文下载 本文涉及到的网络模型的相关论文以及下载地址： [v1] Going Deeper with Convolutions, 6.67% test error http://arxiv.org/abs/1409.4842 [v2] Batch Normalization: Accelerating Deep Network Training by Reducing Internal ...
2020-01-10 14:53:32
822
原创 循环神经网络的高级用法
本文将介绍提高神经网络的性能和泛化能力的三种高级技巧。1）循环dropout（recurrent dropout）。这是一种特殊的内置方法，在循环层中使用dropout来降低过拟合。2）堆叠循环层（stacking recurrent layers）。这会提高网络的表示能力（代价是更高的计算负荷）。3）双向循环层（bidirectional recurrent layer）。将相同的信...
2020-01-09 15:44:31
933
原创 Keras Sequential 顺序模型
Keras Sequential 顺序模型https://keras.io/zh/getting-started/sequential-model-guide/#keras-sequential顺序模型是多个网络层的线性堆叠。你可以通过将网络层实例的列表传递给Sequential的构造器，来创建一个Sequential模型：from keras.models import...
2020-01-08 16:02:28
542
《The elements of statistical learning》第二版电子书下载
2017-06-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人