博客专栏  >  综合   >  深度学习

深度学习

调参的意义在于一发入魂,而不是摸石头过河

关注
6 已关注
38篇博文
  • 深度学习: mAP (Mean Average Precision) 概念 & 计算 & 代码

    mAP 概念Pprecision,即 准确率 。Rrecall,即 召回率 。PR曲线即 以 precision 和 recall 作为 横纵轴坐标 的二维曲线。一般来说,precision 和 re...

    2018-01-02 20:35
    374
  • 深度学习: VGG 网络

    VGG网络结构有以下六种版本:其中最常见的当属 VGG16 以及 VGG19 。它们由于结构简单,清晰明了,被其他很多网络沿用。比如SegNet就直接沿用了VGG16的前13层。VGG16 结构如下:...

    2017-12-21 11:15
    160
  • 深度学习: GoogleNet 网络

    Introduce提出了 Inception,从而刷新了网络深度记录。这是一种 网中网(Network In Network)的结构,即原来的结点也是一个网络。StructureInception一直...

    2017-12-21 20:37
    235
  • 深度学习: ZFNet 网络

    网络结构 ZFNet = (conv+relu+norm+maxpooling)×2 + (conv+relu)×3 + fc×2 + softmax 可以理解为对AlexNet进行了微调。 ...

    昨天 20:06
    12
  • 深度学习: AlexNet 网络

    IntroduceAlexnet网络 提出于2012年,是深度学习的转入兴盛的拐点。该网络证明了CNN在复杂模型下的有效性,然后GPU实现使得训练在可接受的时间范围内得到结果,让CNN和GPU都大火了...

    2017-12-21 20:04
    200
  • 深度学习: LeNet 网络

    Introduce1998年的 LeNet5 标注着CNN的真正面世。但是这个模型在后来的一段时间并未能火起来,主要原因是费机器(当时尚未有GPU),而且其他的算法(如SVM)也能达到类似的效果甚至超...

    2017-12-21 14:09
    100
  • 深度学习: sliding window (滑动窗口)

    Structure滑动窗口的 receptive field (感受野) 是一个 三维的方块 : 通过在水平和垂直方向的平移,从而实现通过 小滑窗 卷积 大feature map 的伟大事业。必须指...

    2017-12-21 19:14
    134
  • 深度学习: Nonlinear (非线性)

    非线性很难形式化,但却是深度学习的 核心竞争力 。正是由于网络中强大的非线性因素,我们得以 深度地抽象出 特征。非线性函数主要存在于pooling层,用来 增加模型容错能力(即 防止过拟合)。假若网络...

    2017-12-21 18:53
    94
  • 深度学习: Batch Normalization (归一化)

    SummaryBatch Normalization (BN) 解决了 反向传播 过程中的 梯度问题(梯度消失和爆炸),同时使得 不同scale 的 w 整体更新步调 更一致。Introduce摘自 ...

    2017-12-21 18:34
    223
  • 深度学习: Full Connection (全连接层)

    Introduce全连接层也是一种卷积层。它的参数基本和卷积层的参数一样,只是它的卷积核大小和原数据大小一致。在 Caffe 中,全连接层 的 type (层类型) 为 Inner Product 。...

    2017-12-21 14:27
    162
  • 深度学习: 反向传播算法

    相关公式 ∂z∂ωi\frac{\partial z}{\partial ω^i} 用于该层参数更新: ∂z∂xi\frac{\partial z}{\partial x^i} 用于误差向前层...

    2018-01-02 21:48
    228
  • 深度学习: Non-Maximum Supression (非极大值抑制)

    NMS (Non-Maximum Supression) NMS来选取那些邻域里分数最高的窗口,同时抑制那些分数低的窗口。 Test 我经过动手实验,成功复现了 NMS 的处理过程。 未经...

    2018-01-05 10:09
    106
  • 深度学习: Faster R-CNN 网络

    Structure 前部 Faster R-CNN 头部 负责对输入图像进行 特征提取 : 网络结构有两种,一种是将ZFNet(扔掉了尾端的全连接层)拿来用,另一种则是将VGG拿来用...

    2017-12-21 11:10
    168
  • 深度学习: smooth L1 loss 计算

    糅合自 Faster R-CNN原理介绍 and 深度网络中softmax_loss、Smooth L1 loss计算以及反向传播推导: RPN的目标函数是分类和回归损失的和,分类采用交叉熵,回归采...

    2017-12-20 15:24
    276
  • 深度学习: softmax loss 计算

    转载自caffe层解读系列-softmax_loss:计算过程softmax_loss的计算包含2步:(1)计算softmax归一化概率(2)计算损失这里以batchsize=1的2分类为例: 设最后...

    2017-12-20 14:21
    133
  • 深度学习: RPN 网络

    Overview 绿框内 为RPN所在的位置: 放大之后是这样: 庖丁解牛 RPN由以下三部分构成: 在 RPN头部 ,通过以下结构生成 anchor(其实就是一堆有编号有坐标...

    2017-12-19 21:36
    95
  • 深度学习: marginal cost (边际成本)

    在看 Faster R-CNN 论文的时候看到 marginal cost (边际成本) 一词,维基百科上面是这么定义的:放到深度学习领域来, marginal cost (边际成本) 应该指的就是:...

    2017-12-19 16:12
    107
  • 深度学习: 论网络深度的利弊

    利能以更加紧凑简洁的方式来表达比浅层网络 大得多的 函数集合 。更具体的可参加: 深层学习为何要“Deep”(上) 深层学习为何要“Deep”(下) 弊更容易过拟合(即局部最优)。收敛慢。梯度弥散。

    2017-12-18 20:52
    287
  • 深度学习: 凸 & 非凸 区别

    凸: 指的是顺着梯度方向走到底就 一定是 最优解 。 大部分 传统机器学习 问题 都是凸的。 非凸: 指的是顺着梯度方向走到底只能保证是局部最优,不能保证 是全局最优。 深度学习以及小部分传统机器学习...

    2017-12-18 20:37
    230
  • 深度学习: greedy layer-wise pre-training (逐层贪婪预训练)

    从UFLDL栈式自编码器摘来的话:每次只训练网络中的一层,即我们首先训练一个只含一个隐藏层的网络,仅当这层网络训练结束之后才开始训练一个有两个隐藏层的网络,以此类推。在每一步中,我们把已经训练好的前k...

    2017-12-18 20:28
    185

Idea与思考
6832
git 使用
153450
LeetCode-Python
10117905
图像处理
179711
OpenCV-Python
1712307
Python编程
10130689
TensorFlow框架
4222286
Ubuntu使用
6312850

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部