博客专栏  >  综合   >  深度学习

深度学习

调参的意义在于一发入魂,而不是摸石头过河

关注
9 已关注
66篇博文
  • 深度学习: COCO目标检测测评指标

    以下为COCO数据集目标检测的测评指标: 我们看论文时常见的AP50AP50AP^{50}、AP75AP75AP^{75}便是来源于此: [1] COCO: Metrics

    昨天 15:28
    6
  • 深度学习: 检测算法演进

    演进时间轴

    2018-04-09 08:47
    24
  • 深度学习: 从 均方误差(MSE) 到 交叉熵误差(CE)

    Introduction Note: MSE与CE作为目标函数,均只用于分类任务。 MSE 均方误差(Mean Squared Error,MSE)。 流行于8、90年代,其设计如下: M...

    2018-04-07 17:24
    77
  • 深度学习: Jacobian矩阵 & Hessian矩阵

    Jacobian Jacobian矩阵: Hessian Hessian矩阵: Hessian矩阵往往具有对称性。 [1] Functions - Gradient, Jacob...

    2018-04-07 17:45
    27
  • 深度学习: 鞍点

    Introduction 关于 鞍点 的定义: [1]: 鞍点附近的某些点比鞍点有更大的代价,而其他点则有更小的代价。 [2]: 一个不是局部极值点的驻点称为鞍点。 ...

    2018-04-03 12:56
    28
  • 深度学习: 处理不平衡样本

    Introduction 不平衡样本: 训练样本中 各类别间 数量差距较大。 易导致过拟合,影响在 极端测试集 (量少类样本居多) 上的 泛化能力 。 对不平衡样本的处理手段主要分为两...

    2018-02-03 21:40
    967
  • 深度学习: 迁移学习 (Transfer Learning)

    Introduction 把别处学得的知识,迁移到新场景的能力,就是“迁移学习”。 具体在实践中体现为: 将 A任务上 预训练好的模型 放在B任务上,加上少量B任务训练数据,进行微...

    2018-02-03 20:19
    228
  • 深度学习: 模型优化算法

    优化算法 类型 优化算法 类型 包括 一阶优化法 和 二阶优化法: 一阶优化法 二阶优化法 具体算法 随机梯度下降法、基于动量的随机梯度下降法、Nesterov型...

    2018-02-03 19:46
    281
  • 深度学习: 如何训练网络

    Introduction 目的: 快速 有效 地 拟合 。 手段: 随机批处理、学习率、批规范化、模型优化算法、迁移学习。 随机批处理 随机批处理,mini-batch,一种 在模型...

    2018-02-03 15:38
    204
  • 深度学习: 学习率 (learning rate)

    Introduction 学习率 (learning rate),控制 模型的 学习进度 : 学习率大小 学习率 大 学习率 小 学习速度 快 慢 ...

    2018-02-02 22:31
    437
  • 深度学习: 网络超参数设定

    Introduction 网络超参数包括: 输入图像像素、卷积层参数、池化层参数。 输入图像像素 应事先将图像统一压缩至 2n2n2^{n} 大小。 好处: 同规格输入 才能得到...

    2018-02-02 18:23
    233
  • 深度学习: 注意力模型 (Attention Model)

    Introduction 注意力模型,Attention Model 。 是根据人对画面 关注度权重 的 分布不均,而设计的一种新的深度学习模型。 注意力焦点 由下图可看出,人们会把注意力更...

    2018-02-02 17:02
    228
  • 深度学习: 细粒度图像识别 (fine-grained image recognition)

    Introduction 细粒度图像识别 (fine-grained image recognition),即 精细化分类 。 精细化分类 识别出物体的大类别(比如:计算机、手机、水杯等...

    2018-02-02 17:07
    664
  • 深度学习: 随机失活 (dropout)

    Introduction 随机失活,dropout,2012年于AlexNet中被提出。 Note : - 只针对 全连接层 进行操作; - 训练阶段和测试阶段的操作不同。 训练阶段 ...

    2018-02-02 15:49
    209
  • 深度学习: 目标函数

    Introduction 目标函数 是 深度学习之心,是 模型训练 的 发动机 。 目标函数 (object function) = 损失函数 (loss function) = 代价函数 (co...

    2018-02-01 22:18
    211
  • 深度学习: 过拟合 (overfitting)

    Introduction 过拟合,overfitting,指的是 模型 对训练数据的 抽样误差 也进行了 很好的拟合 ,是一种 无监督下 的 矫枉过正 。 好比自动吸尘机器人帮你把家里的灰尘清干净...

    2018-02-01 23:10
    137
  • 深度学习: Regularization (网络正则化)

    Introduction 正则化,regularization,也即 约束 。是防止过拟合的诸多手段之一,很常用。 通过 限制 参数值域空间,显式地 控制了 模型复杂度,从而避免了过拟合。 ...

    2018-02-01 23:57
    172
  • 深度学习: Zero-shot Learning / One-shot Learning / Few-shot Learning

    Introduction 在 迁移学习 中,由于传统深度学习的 学习能力弱,往往需要 海量数据 和 反复训练 才能修得 泛化神功 。为了 “多快好省” 地通往炼丹之路,炼丹师们开始研究 Zero-s...

    2018-02-02 09:24
    673
  • 深度学习: Softmax 函数

    Introduction Softmax函数,又称 归一化指数函数 。 该函数 是重要的 深度学习目标函数,也是 Sigmoid函数 的一种 推广,用来作为 均方误差(CE)的 替代方案。 So...

    2018-02-01 18:16
    174
  • 深度学习: 数据预处理

    Introduction 数据预处理 主要分为 数据归一化 和 PCA/ZCA白化 两种方法。 数据预处理 的 时序位置 在数据扩充之后,模型训练之前: 数据采集 –> 数据标记 –> 数...

    2018-01-31 19:40
    186

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部