![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 79
csdn_elsa
生命不止,coding不停,潜心向学,冲鸭!
展开
-
过拟合、梯度消失、梯度爆炸问题的学习
1.正则化为什么能防止过拟合转 https://www.cnblogs.com/alexanderkun/p/6922428.html2.详解机器学习中的梯度消失、爆炸原因及其解决方法转 https://blog.csdn.net/qq_25737169/article/details/78847691...转载 2018-08-01 21:29:26 · 813 阅读 · 0 评论 -
残差网络ResNet笔记
原文出处:http://www.cnblogs.com/alanma/p/6877166.html Deep Residual Learning for Image Recognition1. 思想作者根据输入将层表示为学习残差函数。实验表明,残差网络更容易优化,并且能够通过增加相当的深度来提高准确率。 核心是解决了增加深度带来的副作用(退化问题),这样能够通过单纯地增加网络深度,...转载 2018-08-31 22:53:29 · 2757 阅读 · 0 评论 -
参数、超参数以及调参问题整理总结(待更新补充)
一、参数、超参数的基本概念机器学习中的模型参数和模型超参数在作用、来源等方面都有所不同,而模型超参数常被称为模型参数,这样,很容易对初学者造成混淆。本文给出了模型参数和模型超参数的定义,并进行了对比,指出了二者本质上的区别:模型参数是模型内部的配置变量,可以用数据估计模型参数的值;模型超参数是模型外部的配置,必须手动设置参数的值。1.首先,我们来看一下“参数”是什么?参数作为模型从历史...原创 2018-09-07 11:37:26 · 8273 阅读 · 0 评论 -
标准化归一化和正则化的概念与区别
https://www.cnblogs.com/arachis/p/Regulazation.html?utm_背景:数据挖掘/机器学习中的术语较多,而且我的知识有限。之前一直疑惑正则这个概念。所以写了篇博文梳理下摘要: 1.正则化(Regularization) 1.1 正则化的目的 1.2 结构风险最小化(SRM)理论 1.3 L1范数(lasso),L2范数(...转载 2019-03-20 21:46:28 · 4717 阅读 · 0 评论 -
解决梯度爆炸和消失的常用技术
目录1.随机初始化(Xavier Initialization、He Initialization等)2.使用nonsaturating函数(如relu)3.批量归一化(Batch Normalization, BN)4.梯度裁剪(Gradient Clipping)参考文献:http://hey-yahei.cn/2018/04/08/梯度消失与梯度爆炸/index.html...转载 2018-12-27 20:51:17 · 193 阅读 · 0 评论 -
WGAN的训练技巧总结(持续更新)
生成对抗网络训练心得作者:阿阿阿阿毛https://www.jianshu.com/p/aab68eb0f7ed一、权重a. 调节Generator loss中GAN loss的权重G loss和Gan loss在一个尺度上或者G loss比Gan loss大一个尺度。但是千万不能让Gan loss占主导地位, 这样整个网络权重会被带偏。二、训练次数b. 调节Generator和...原创 2018-12-29 20:17:11 · 13463 阅读 · 22 评论