深度学习
文章平均质量分 63
深度学习
a flying bird
永远飞翔的鸟
展开
-
最优学习率寻找
深度神经网络使用随机梯度下降和可微分的误差向后传递更新神经网络中所有的可训参数 (trainable parameters \theta ),从而学到一个层级化的表示,此表示相当于一个函数 f, 能近似的将输入 x 映射到输出 y, 即 f(…Keras 实现最优学习率寻找(LR Range Test) - 知乎。原创 2024-03-13 07:13:22 · 403 阅读 · 0 评论 -
【调参】如何为神经网络选择最合适的学习率lr-LRFinder-for-Keras
前言学习率lr在神经网络中是最难调的全局参数:设置过大,会导致loss震荡,学习难以收敛;设置过小,那么训练的过程将大大增加。如果,调整一次学习率的周期的训练完一次,那么,训练n次,才能得到n个lr的结果…,导致学习率的选择过程代价太大。有多种方法可以为学习速度选择一个好的起点。一个简..._学习率选择。【调参】如何为神经网络选择最合适的学习率lr-LRFinder-for-Keras_学习率选择-CSDN博客。原创 2024-03-12 08:25:53 · 484 阅读 · 0 评论 -
多种损失函数对比
不同损失函数对比以及对训练的影响原创 2022-06-05 10:53:01 · 384 阅读 · 0 评论 -
Conv2d中的group参数:分组卷积是什么?
原文链接:https://blog.csdn.net/weixin_43572595/article/details/110563397原创 2021-11-07 21:16:20 · 768 阅读 · 0 评论 -
特征提取器transformeCNN、RNN的对比
原创 2020-03-18 14:15:28 · 1960 阅读 · 0 评论 -
Transformer详解
转载:https://blog.csdn.net/u013905264/article/details/102820523原创 2019-12-27 17:06:36 · 346 阅读 · 0 评论 -
图解Transformer+DSSM
图解Transformerhttps://blog.csdn.net/qq_41664845/article/details/84969266、The Illustrated Transformerhttps://jalammar.github.io/illustrated-transformer/DSSM|基于Transformer的语义相似度计算模型DSSM及代码开源...原创 2019-12-11 18:36:42 · 1797 阅读 · 1 评论 -
Attention机制实践解读
Attention Model(注意力模型)学习总结https://blog.csdn.net/mpk_no1/article/details/72862348[深度概念]·Attention机制实践解读https://blog.csdn.net/xiaosongshine/article/details/90573585《Attention is All You Need》浅读...原创 2019-12-09 09:03:43 · 950 阅读 · 0 评论 -
深度学习之concatenate和add的对比
目录1.concatenate和add网络对比2 .concatenate和add代码实现1.concatenate和add网络对比1.1 在网络结构的设计上,经常说DenseNet和Inception中更多采用的是concatenate操作,而ResNet更多采用的add操作,那么这两个操作有什么异同呢?concatenate操作是网络结构设计中很重要的一种操作,经常用于将特...原创 2019-08-30 11:33:44 · 5678 阅读 · 0 评论 -
LSTM为什么能够解决梯度消失以及LSTM调参
0、开始训练之前先要做些什么?在开始调参之前,需要确定方向,所谓方向就是确定了之后,在调参过程中不再更改1、根据任务需求,结合数据,确定网络结构。例如对于RNN而言,你的数据是变长还是非变长;输入输出对应关系是many2one还是many2many等等,更多结构参考如下非RNN的普通过程,从固定尺寸的输入到固定尺寸的输出(比如图像分类)输出是序列(例如图像标注:输入是一张图...原创 2019-08-20 14:51:00 · 4047 阅读 · 0 评论 -
深度学习之CNN常见考点
一.池化层(pooling)的反向传播是怎么实现的参考博客:https://blog.csdn.net/qq_21190081/article/details/72871704在看卷积神经网络的时候,突然想起来池化是会改变特征图的尺寸的,那反向传播是怎么实现的呢。于是搜了一些博客,感觉上面这个博客写得最清晰直观,就从这个博客里面搬了点东西过来作为笔记。Pooling池化操作的反向梯度传...原创 2019-08-03 15:09:53 · 371 阅读 · 0 评论 -
深度学习之残差网络的原理
目录一. 什么是残差(residual)二、残差网络的背景三、残差块(residual block)四、深度残差学习五、DenseNet网络和Resnets网络对比转载:https://blog.csdn.net/u014665013/article/details/81985082假如采用Sigmoid函数,对于幅度为1的信号,每向后传递一层,梯度就衰减为原来的0.2...原创 2019-07-31 18:02:48 · 8160 阅读 · 1 评论 -
克服过拟合和提高泛化能力的20条技巧和诀窍
转载:https://blog.csdn.net/starzhou/article/details/52754436克服过拟合和提高泛化能力的20条技巧和诀窍你是如何提升深度学习模型的效果?这是我经常被问到的一个问题。有时候也会换一种问法:我该如何提高模型的准确率呢?……或者反过来问:如果我的网络模型效果不好,我该怎么办?通常我的回答是“具体原因我不清楚,但我有一些...转载 2019-07-29 08:58:44 · 1597 阅读 · 0 评论 -
深度学习之GPU的配置和适用
目录一、keras代码GPU配置二、tensorflow代码GPU配置三、给算子指定GPU或CPU当设置的GPU号大于实际的GPU个数时(比如实际只有一个GPU,配置中设置成使用1号GPU),创建会话会失败,提示tensorflow.python.framework.errors_impl.InternalError: Failed to create session.一、k...原创 2018-09-18 18:46:48 · 2179 阅读 · 0 评论 -
batch normalize、relu、dropout 等的相对顺序
1.https://blog.csdn.net/B08370108/article/details/83783008batch norm、relu、dropout 等的相对顺序Ordering of batch normalization and dropout in TensorFlow?在 Batch Normalization: Accelerating Deep Networ...原创 2018-08-16 17:05:48 · 7962 阅读 · 0 评论 -
深度学习之前向传播和反向传播(举例说明)
转载:https://blog.csdn.net/guoyunfei20/article/details/78031498假设神经网络结构如下图所示:有2个输入单元;隐含层为2个神经元;输出层也是2个神经元,隐含层和输出层各有1个偏置。为了直观,这里初始化权重和偏置量,得到如下效果:----前向传播----隐含层神经元h1的输入:代入数据可得:假设激励函数用...原创 2018-08-13 22:07:06 · 2675 阅读 · 0 评论 -
深度学习之批归一化Batch Normalization的原理和应用
目录一、BN提出的背景意义二、卷积神经网络(CNN)优化之BN使用其他笔记一、BN提出的背景意义本文的背景文献是:《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》,Batch Normalization算法目前已经被大量的应用,最新的文献算...原创 2018-07-08 22:02:41 · 9415 阅读 · 2 评论 -
深度学习之CNN层调参经验与Drop层、BN层的使用经验
相关参考:https://www.cnblogs.com/bonelee/p/8534560.htmlhttps://blog.csdn.net/sean2100/article/details/83834565https://blog.csdn.net/sean2100/article/details/83783632两篇文章主要给了两个结论:结论一:CNN 文本分类模...原创 2018-06-29 19:16:02 · 1994 阅读 · 0 评论 -
机器学习之数据的偏态分布和数据的标准化
目录一、偏态分布1、何为数据的偏态分布?2、构建模型时为什么要尽量将偏态数据转换为正态分布数据?3、如何检验样本是否服从正态分布?4 、如果不是正态分布怎么办?5、采用库函数skew进行数据偏态分析和数据处理二、数据的标准化/归一化normalization2.1、数据的标准化(normalization)和归一化2.2、归一化和标准化能带来什么2....原创 2018-06-10 07:37:33 · 15817 阅读 · 0 评论