![](https://img-blog.csdnimg.cn/20191121153053810.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
我是天才很好
深度学习算法工程师
github: https://github.com/wstchhwp
个人邮箱:1103540209@qq.com
展开
-
MSCOCO2014与MSCOCO2017数据集比较
MSCOCO数据集原创 2022-06-11 16:04:13 · 1229 阅读 · 1 评论 -
训练loss不下降原因总结
当我们训练一个神经网络模型的时候,我们经常会遇到这样的一个头疼的问题,那就是,神经网络模型的loss值不下降,以致我们无法训练,或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多,而且,更普遍的来说,loss不下降一般分为三种,即:训练集上loss不下降,验证集上loss不下降,和测试集上loss不下降train loss 不断下降,test loss不断下降,说明网络仍在学习;train loss 不断下降,test loss趋于不变,说明网络过拟合;train loss 趋于不变转载 2021-07-08 15:19:22 · 10148 阅读 · 0 评论 -
linux查询gcc版本及相关的命令
1.gcc版本gcc -vcat /proc/version2.查看内核版本uname -a3.查看操作系统版本号lsb_release -a说明:/proc文件系统,它不是普通的文件系统,而是系统内核的映像,也就是说,该目录中的文件是存放在系统内存之中的,它以文件系统的方式为访问系统内核数据的操作提供接口。而我们使用命令“uname -a"的信息就是从该文件获取的,当然用方法二的命令直接查看它的内容也可以达到同等效果.另外,加上参数"a"是获得详细信息,如果不加参数为查看系统名称。..转载 2021-06-22 00:12:26 · 9322 阅读 · 0 评论 -
nvcc -V显示的CUDA版本与nvidia-smi显示的CUDA版本不一致?
看到这篇文章,大概意思是说CUDA有两种API,一个是驱动API(Driver Version),依赖NVIDIA驱动,由nvidia-smi查看; 另一个是运行API(Runtime Version)是软件运行所需要的。一般驱动API版本>=运行API版本即可。具体参考:https://stackoverflow.com/questions/53422407/different-cuda-versions-shown-by-nvcc-and-nvidia-smi...原创 2021-04-28 10:29:55 · 3119 阅读 · 0 评论 -
多类分类和多标签分类
使用softmax和sigmoid激活函数来做多类分类和多标签分类在实际应用中,一般将softmax用于多类分类的使用之中,而将sigmoid用于多标签分类之中,对于图像处理而言,网络模型抽取图像特征的结构基本相同,只是根据不同的任务改变全连接层后的输出层。下面介绍如何使用softmax和sigmoid完成对应的分类任务。softmax激活函数应用于多类分类假设神经网络模型的最后一层的全连接层输出的是一维向量logits=[1,2,3,4,5,6,7,8,9,10],这里假设总共类别数量为10,使用s原创 2021-04-20 10:02:58 · 760 阅读 · 0 评论 -
训练集、测试集loss容易出现的问题总结
1、train loss 不断下降,test loss不断下降:说明网络仍在学习;train loss 不断下降,test loss趋于不变:说明网络过拟合;train loss 趋于不变,test loss不断下降:说明数据集100%有问题;train loss 趋于不变,test loss趋于不变:说明学习遇到瓶颈,需要减小学习率或批量数目;或者是数据集有问题(数据集标注错误数据比较多)train loss 不断上升,test loss不断上升:说明网络结构设计不当,训练超参数设置不当,数据集原创 2021-01-04 21:17:52 · 3467 阅读 · 1 评论 -
了解深度学习batch_size,iteration,epoch概念
(1)epoch:1个epoch等于使用训练集中的全部样本训练一次。(2)iteration:表示1次迭代,每次迭代更新1次网络结构的参数,1个iteration等于使用batchsize个样本训练一次;(3)batch_size:批大小,即1次迭代所使用的样本量。在深度学习中,一般采用SGD训练,即每次训练在训练集中取batchsize个样本训练;在深度学习领域中,常用随机梯度下降算法(Stochastic Gradient Descent, SGD)训练深层结构,它有一个好处就是并不需要遍历全部的转载 2020-06-30 14:36:30 · 577 阅读 · 0 评论 -
BN算法(Batch Normalization)的原理和作用
文章目录一、BN算法概念二、Covariate Shift问题三、BN算法产生的背景四、BN算法的实现和优点4.1 BN算法的实现4.2 BN算法在网络中的作用五、参考文献一、BN算法概念传统的神经网络,只是在将样本x输入到输入层之前对x进行标准化处理,以降低样本间的差异性。BN是在此基础上,不仅仅只对输入层的输入数据x进行标准化,还对每个隐藏层的输入进行标准化。(那为什么需要对每个隐藏层...原创 2020-04-16 21:30:12 · 10754 阅读 · 1 评论 -
深度学习中过拟合与防止过拟合的方法
文章目录1.什么是过拟合?2.过拟合产生的原因?3.如何解决过拟合问题?(1)Early stopping:(2)数据集扩增:(3)正则化(regularization):(4)dropout:参考资料:1.什么是过拟合?过拟合(overfitting)是指在模型参数拟合过程中的问题,由于训练数据包含抽样误差,训练时,复杂的模型将抽样误差也考虑在内,将抽样误差也进行了很好的拟合。具体表现就是...转载 2020-04-16 17:14:19 · 1203 阅读 · 0 评论 -
Dropout解决过拟合问题
假设我们要训练这样一个神经网络输入是x, 输出是y,正常的流程是:我们首先把x通过网络前向传播,然后把误差反向传播以决定如何更新参数让网络进行学习。使用dropout之后过程变成:1.首先随机(临时)删掉网络中一半的隐藏神经元,输入输出神经元保持不变(下图中虚线为部分临时被删除的神经元)2.然后把输入x通过修改后的网络前向传播,然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执...转载 2020-01-02 09:44:17 · 1595 阅读 · 0 评论 -
梯度弥散和梯度爆炸
1. 什么是梯度弥散和梯度爆炸(发生原因)梯度弥散:由于导数的链式法则,连续多层小于1的梯度相乘会使梯度越来越小,最终导致某层梯度为0。梯度爆炸:由于导数的链式法则,连续多层大于1的梯度相乘会使梯度越来越大,最终导致梯度太大的问题。2. 梯度弥散和梯度爆炸会造成什么影响梯度弥散:会使得网络前几层的参数不再更新,最终导致模型的性能很差梯度爆炸:会使得某层的参数w过大,造成网络不稳定,...转载 2019-12-12 16:40:36 · 578 阅读 · 0 评论 -
测试集的精度随着迭代次数增加呈现先升高后下降的趋势是为什么?
测试集的精度随着迭代次数增加呈现先升高后下降的趋势是为什么?这是不是意味着过拟合了?模型参数太多或样本量不够复杂?原创 2019-12-09 18:48:14 · 14718 阅读 · 0 评论 -
迁移学习 (Transfer Learning)
文章目录1.什么是迁移学习?2.为什么现在需要迁移学习?3.传统的机器学习与迁移学习有什么不同呢?4.什么适合迁移?5.迁移学习的分类6.迁移学习的应用7.迁移学习的价值8.总结9.参考:1.什么是迁移学习?迁移学习(Transfer Learning)目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。The ability of a system to recognize and...原创 2019-12-04 22:18:12 · 4015 阅读 · 4 评论 -
为什么引入非线性激励函数?
@张雨石:第一, 对于神经网络来说,网络的每一层相当于f(wx+b)=f(w'x),对于线性函数,其实相当于f(x)=x,那么在线性激活函数下,每一层相当于用一个矩阵去乘以x,那么多层就是反复的用矩阵去乘以输入。根据矩阵的乘法法则,多个矩阵相乘得到一个大矩阵。所以线性激励函数下,多层网络与一层网络相当。比如,两层的网络f(W1*f(W2x))=W1W2x=Wx。第二,非线性变换是深度学习有效的...转载 2019-11-16 20:14:22 · 1185 阅读 · 0 评论 -
win10下CUDA和cuDNN的安装(超详细)
文章目录1. CPU和GPU2. 什么是CUDA3.什么是CUDNN4.CUDA与CUDNN的关系5.安装5.1 CUDA的安装5.2 cuDNN的安装6.参考7.注意:1. CPU和GPUCPU和GPU是不一样的计算机设备,CPU作为计算机心脏一直被人们所认知,但是GPU直到最近才被人们重视起来,因为其优异的图片运算性能,或者说矩阵运算性能。CPU和GPU的关系和差别:从上图可以看出G...原创 2019-11-16 15:01:38 · 15160 阅读 · 7 评论 -
盘点ML/DL领域国外和国内的顶级大牛
人物简介(牛1)Geoffrey Hinton 杰弗里·辛顿Geoffrey Hinton,被称为“神经网络之父”、“深度学习鼻祖”,他曾获得爱丁堡大学人工智能的博士学位,并且为多伦多大学的特聘教授。现在的Hinton:一半归多伦多大学,一半归Google大脑。(牛2)Yann LeCun 延恩·勒昆YannLeCun是个法国人,辛顿的学生。他是纽约大学终身教授,还是纽约大学数据科学...转载 2019-11-29 09:59:12 · 2525 阅读 · 0 评论 -
MNIST数据集
MNIST数据集(Mixed National Institute of Standards and Technology database)是美国国家标准与技术研究院收集整理的大型手写数字数据库,包含60,000个示例的训练集以及10,000个示例的测试集.我们可以下载数据集,下载后会得到这样四个文件得到一个数据集后的首要任务是将数据可视化,从感官上了解数据的具体情况.这个数据集中包...原创 2019-11-27 14:47:51 · 1300 阅读 · 0 评论