排序:
默认
按更新时间
按访问量

传统提取图片特征的方式:颜色直方图、方向梯度直方图、词袋

对图片做线性分类,最直观的做法是,将图像中的原始像素之间传入线性分类器。由于多模态等原因,直接传入分类器效果不太好。所以,在深度神经网络得到大规模应用之前,通常使用两步走策略: 1.拿到图片,计算图片的各种特征代表。 2.将不同的特征向量融合到一起,得到图像的特征表述。然后,将图像的特征表述传...

2018-08-05 12:20:42

阅读数:121

评论数:0

[深度学习] 梯度消失与梯度爆炸、Loss为Nan的原因

现象 如何确定是否出现梯度爆炸? 在训练过程中出现梯度爆炸会伴随一些细微的信号,如: (1)模型无法从训练数据中获得更新; (2)模型不稳定,导致更新过程中的损失出现显著变化; (3)训练过程中,模型的损失变为Nan。   梯度消失与梯度爆炸原因 首先,来看神经网络更新梯度的原理,...

2018-08-04 14:35:19

阅读数:188

评论数:0

[深度学习] 激活函数、损失函数、优化函数的作用

激活函数、损失函数、优化函数都分别是什么?有什么作用? 下面,就以激活函数、损失函数、优化函数在神经网络中的作用,浅析一二。 利用神经网络进行分类、检测、分割等任务的关键,就是利用反向传播算法,求解神经网络,找到正确的W,b。 反向传播算法的过程如下: 也就是说: 激活函数:将神经网...

2018-08-03 18:17:58

阅读数:76

评论数:0

[深度学习]神经网络卷积方式:卷积、转置卷积与空洞卷积

感受野 定义:在卷积神经网络中,感受野的定义是,卷积神经网络中每一层输入的特征图(feature map)上的像素点在原始图像上的映射大小。 对于pooling操作,第一个作用是降低feature map的尺寸,减少需要训练的参数;第二,通过减小feature map的尺寸,将之前的4个像素点...

2018-08-01 20:13:25

阅读数:79

评论数:0

[深度学习]语义分割、分类定位与目标检测

语义分割 定义:输入图像,并对图像中的每个像素做分类。 以第一幅图像为例,图像中是一只可爱的猫在草地上散步。输出结果应该是,对于每个像素,确定它属于猫、草地或者天空,或者背景亦或其他分类。语义分割并不区分同类目标。也就是说,不会区分第二幅图的这两头牛,这是语义分割的缺点。 语义分割的...

2018-07-30 11:13:28

阅读数:177

评论数:0

[深度学习]循环神经网络:RNN,LSTM,GRU,Attention机制,沿时间的截断反向传导算法

RNN(Recurrent Neural Network,循环神经网络)   每个RNN都有一个循环核心单元。它把x作为输入,将其传入RNN。RNN有一个内部隐藏态(internal hidden state)。这个隐藏态会在RNN每次读取新的输入时更新,然后隐藏态会将结果返回至模型。 ...

2018-07-29 22:39:17

阅读数:69

评论数:0

[深度学习]卷积神经网络:卷积、池化、常见分类网络

卷积 全连接层:将卷积层所有的像素展开,例如得到一个3072维的向量,然后在向量上进行操作。 卷积层:可以保全空间结构,不是展开成一个长的向量。 卷积操作:将卷积核从图像(或者上一层的feature map)的左上方的边角处开始,遍历卷积核覆盖的所有像素点。在每一个位置,我们都进行点积运算,...

2018-07-29 22:27:09

阅读数:62

评论数:0

[深度学习]数据预处理(归一化方法)、Batch Normalization、超参数搜索 与 神经网络权重的初始化

归一化方法 1.线性比例变换法  y = x / max(x) 2.极差变换法 y = (x - min(x)) / (max(x) - min(x)) 缺点:当有新数据加入时,会导致min(x) 与 max(x) 的变化,需要重新定义。 3.0均值标准化 y = (x - mean...

2018-07-23 21:54:40

阅读数:43

评论数:0

[深度学习]模型泛化性能的度量标准

过拟合与欠拟合 1.概念 过拟合:当模型过度地学习训练样本中的细节与噪音,把训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质,这样就会导致泛化性能的下降,以至于模型在新的数据上表现很差。 欠拟合:对训练样本的一般性质尚未学好。 2.原因 出现过拟合的原因:训练集与测试集的特征分...

2018-07-23 21:16:40

阅读数:54

评论数:0

[深度学习]梯度下降算法、优化方法(SGD,Adagrad,Adam...)

求解神经网络,也就是求解 y =f(wx + b) 中的w 和 b。 那么如何找到正确的权重值 w 和 b 呢? 随机搜索。需要很多权重值,随机采样,然后把它们输入损失函数,再看它们效果如何。(stupid) 梯度下降算法。首先,初始化 w 和 b, 然后,使用梯度下降算法,对 w 和 b ...

2018-07-17 23:01:14

阅读数:76

评论数:0

[深度学习]神经网络的激活函数

为什么要引入非线性激活函数 如果不使用非线性激活函数,激活函数本质上相当于f(x)=ax+b。在这种情况下,神经网络每一层的输出都是上层输入的线性函数。此时,不管神经网络有多少层,输出与输入都是线性关系,与没有隐层是一样的。也就相当于最原始的感知机,连最基本的异或问题都无法解决,更别说其他更复杂...

2018-07-10 21:18:13

阅读数:61

评论数:0

[深度学习]回归模型

回归问题的条件/前提: 1) 收集的数据 2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。   1. 线性回归 假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。 收集的数据中,每一个分量...

2018-07-07 20:09:55

阅读数:58

评论数:0

场景文字检测技巧总结

从事场景文字检测相关的工作有一段时间了,总结了一些经验技巧,下面就在此记录下来,仅供参考。 数据集篇 icdar2015数据集 由于icdar2015数据集和icdar2013数据集的训练图片均较少,因此,在训练icdar2015数据集的时候,一般融合icdar2013和icdar2015两...

2018-05-08 15:48:43

阅读数:226

评论数:1

如何判断深度学习的网络是否work?

写在前面:对于多数从业者而言,从头开始写深度学习程序的情况比较少。多数情况下,都是从Github上下载已有的深度学习的程序,使用自己的数据集进行训练,或者根据需要对程序进行修改。一般官方公开的代码实现与论文接近,而个人开发者公布的代码实现可能与官方论文有所差距。首先要做的一件事就是确保模型本身可以...

2018-05-01 13:47:18

阅读数:182

评论数:0

基于深度学习的目标检测及场景文字检测研究进展

根据本人组会PPT总结整理,复习备用。一.目标检测与场景文字检测定义目标检测:给定一张图片或者视频帧,找出其中所有目标的位置,并给出每个目标的具体类别。场景文字检测:文字检测(Text Detection):对照片中存在文字的区域进行定位,即找到单词或者文本行(word/linelevel)的边界...

2018-03-17 21:19:02

阅读数:3281

评论数:0

Bounding-box Regression详解

  转自http://caffecn.cn/?/question/160,作者沁心风雨。在此记录,供自己复习。     R-CNN系列文章(Fast/ Faster RCNN)都训练了Bounding-box 回归器来对窗口进行校正,以提高最终的检测精度。那么这样做的好处是什么?具体的又该怎样去做...

2018-03-13 21:09:14

阅读数:90

评论数:0

深度学习中的batch的大小对学习效果有何影响?

写在前面:整理自知乎:深度学习中的batch的大小对学习效果有何影响?     Batch_size参数的作用:   决定了下降的方向。     极端一:   batch_size为全数据集(Full Batch Learning): 好处: 1.由全数据集确定的方向能够更...

2017-12-19 18:17:17

阅读数:626

评论数:0

DCGAN代码及实验结果分析

一.写在前面 本篇对DCGAN的tensorflow实现版本进行代码分析。Github:https://github.com/carpedm20/DCGAN-tensorflow 该代码中实现了针对有标签数据集和无标签数据集两类网络,两类网络的结构不一样。下面分别进行介绍。 二.针对有标签数...

2017-10-16 21:08:21

阅读数:332

评论数:1

[深度学习]转置卷积(Transposed Convolution)

一.写在前面 在GAN(Generative Adversarial Nets, 直译为生成式对抗网络)中,生成器G利用随机噪声Z,生成数据。那么,在DCGAN中,这部分是如何实现呢?这里就利用到了Transposed Convolution(直译为转置卷积),也称为Fractional Str...

2017-10-16 11:21:10

阅读数:2881

评论数:4

[深度学习]交叉熵(Cross Entropy)算法实现及应用

写在前面:要学习深度学习,就不可避免要学习Tensorflow框架。初了解Tensorflow的基础知识,看到众多API,觉得无从下手。但是到了阅读完整项目代码的阶段,通过一个完整的项目逻辑,就会让我们看到的不只是API,而是API背后,与理论研究相对应的道理。除了Tensorflow中文社区的教...

2017-10-13 21:14:49

阅读数:1038

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭