详解机器学习中的梯度消失、爆炸原因及其解决方法

原文链接: https://blog.csdn.net/qq_25737169/article/details/78847691 本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分,第一部分主要直观的介绍深度学习中为什么使用梯度更新,第二部分主要介绍深度学习中梯...

2018-08-23 20:14:22

阅读数:23

评论数:0

【分类】在分类中如何处理训练集中不平衡问题

原文链接:http://blog.csdn.net/heyongluoyao8/article/details/49408131 在分类中如何处理训练集中不平衡问题   在很多机器学习任务中,训练集中可能会存在某个...

2018-08-16 14:49:14

阅读数:126

评论数:0

【Resnet】

Shortcut解析 整体解析

2018-08-03 09:29:53

阅读数:35

评论数:0

【深度学习】适应于不同任务的不同种类的卷积操作

CNN中千奇百怪的卷积方式大汇总 摘要: LeNet:最早使用stack单卷积+单池化结构的方式,卷积层来做特征提取,池化来做空间下采样。AlexNet:后来发现单卷积提取到的特征不是很丰富,于是开始stack多卷积+单池化的结构。VGG( Very Deep Convolu...

2018-08-02 16:35:06

阅读数:37

评论数:0

【深度学习】:回归 & 分类任务的Loss函数分析

L1 & L2 loss 代码 import tensorflow as tf import matplotlib.pyplot as plt sess = tf.Session() x_val = tf.linspace(-1.,-1.,5...

2018-07-03 22:12:01

阅读数:337

评论数:0

【深度学习】1*1卷积核

1×1的卷积核 卷积核在CNN中经常被用到,一般常见的是3×3的或者5×5的,见下图,这里不多赘述 那么1×1的卷积核,就像上面那样。 一般1×1的卷积核本质上并没有对图像做什么聚合操作,以为就是同一个ww去乘以原图像上的每一个像素点,相当于做了一个scaling 1×1卷积核最...

2018-06-07 13:22:46

阅读数:242

评论数:0

【论文】单目深度估计:Unsupervised Monocular Depth Estimation with Left-Right Consistency

Unsupervised Monocular Depth Estimation with Left-Right Consistency 摘要 不像之前的有监督的方法一样,利用深度图作为标签(GT),本文的方法用容易得到的双目图来训练。利用epipolar geometry constrai...

2018-06-01 14:28:03

阅读数:316

评论数:0

【论文】人脸特征点检测:TCDCN

Learning and Transferring Multi-task Deep Representation for Face Alignment 摘要 通过多任务学习提升检测鲁棒性。特别的,使用与人脸相关的属性共同学习人脸的特征点位置。 tasks-constrained deep m...

2018-05-31 16:32:52

阅读数:61

评论数:0

【论文】【LapSRN】Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution

模型框架图(其中一级) 若S是我们的放大因子,那么我们在log2S层,渐进的预测残差图。模型主要有两部分:特征提取,图像重构 特征提取 图像重构 对于每一级而言(s层),对输入图像用一个scale等于2的一个上采样层进行操作。然后这个上采样层将和当前层的特征提取分支预测得到的resid...

2018-05-24 16:54:01

阅读数:110

评论数:0

【深度学习】:优化器的选择

三种梯度下降法: 若是样本很多,用标准梯度法会很慢,用随机梯度会很快,但是由于每个样本都会用来更新权重,会有噪声的引入,会产生更新错误。 Momentum: 因此训练速度会有一定的加快。 NAG(Nesterov accelerated gradient): Adagra...

2018-05-22 00:28:36

阅读数:120

评论数:0

【深度学习】:代价函数的选择

二次代价函数: 如上图所示的A点假设我们的目标是0,那么B点离目标比较远,但是由于梯度比较小所以更新速度很慢,这种情况不和逻辑很不好,这就是二次代价函数的缺点。 交叉熵代价函数: 对数似然函数: ...

2018-05-22 00:11:09

阅读数:89

评论数:0

【深度学习】:【结果衡量指标】召回率(Recall),精确率(Precision),F度量(F-measure),Map,ROC,AUC

精确率(Precision),又称为“查准率”。 召回率(Recall),又称为“查全率”。 召回率和精确率是广泛用于信息检索和统计学分类领域的两个度量值,用来评价结果的质量。其中召回率是是检索出的相关文档数和文档库中所有的相关文档数的比率,衡量的是检索系统的查全率。精确率是检索出的相关文档数...

2018-05-04 17:05:51

阅读数:438

评论数:0

神经网络压缩综述

1.研究背景 对模型预测精度无明显影响 压缩模型的参数数量、深度来降低模型空间复杂度 全连接层参数多,模型大小由全连接层主导 不显著提高训练时间复杂度,降低预测时间复杂度(计算量) 卷积层计算量大,计算代价由卷积操作主导 2.方法 2.1.更精细模型的设计 Aggrega...

2018-05-04 08:51:07

阅读数:468

评论数:0

GAN(一):Loss函数(vanilla GAN objective)

GAN中的loss函数的构建 主要分为 G_Loss & D_Loss,分辨为generator和discriminator的损失函数 G_Loss: 设置这个loss的目的在于:尽可能使G(generator)产生的伪数据能够与真实数据一致(真实数据标签为1...

2018-05-03 15:48:02

阅读数:1112

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭