![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 88
业精于勤荒于嬉-行成于思而毁于随
希望自己能走的更远更远,踏踏实实,勿忘初心。
展开
-
实验不同的学习速率
转于:https://blog.csdn.net/lqfarmer/article/details/77689148实验不同的学习速率学习速率是控制更新步长大小的超参数。随着学习速率的增加,振荡次数也在增加。如图2所示,随着学习速率的增加,存在很多混乱或随机噪声。图2中的所有曲线都是针对MNIST数据集训练,采用单层神经网络。我们可以从图中推断,高学习速率更有可能使整个模型爆炸,...转载 2019-04-03 16:51:20 · 675 阅读 · 0 评论 -
Resnet代码实现+为什么使用全局平均池化
1.ResNet直接使用stride=2的卷积做下采样,并且用global average pool层替换了全连接层。GAP的真正意义是:对整个网路在结构上做正则化防止过拟合。但是值得我们注意的是,使用gap可能会造成收敛速度减慢。用一个GAP将N个feature map降维成1*N大小的feature map,再用class个1*1卷积核将1*N的feature map卷成1*class的向...原创 2019-04-11 14:32:43 · 4782 阅读 · 1 评论 -
用 PyTorch 迁移学习(Transfer Learning)实现图像分类。注意图像数量的分布、图像大小的分布、冻结前面的参数、统计模型参数数量。
用 PyTorch 迁移学习(Transfer Learning)实现图像分类作者:PyTorch 中文网https://github.com/WillKoehrsen/pytorch_challenge/blob/master/Transfer%20Learning%20in%20PyTorch.ipynb教程将手把手教你用 PyTorch 实现迁移学习(Transfer ...转载 2019-04-11 12:28:06 · 2762 阅读 · 9 评论 -
torch.nn中部分理解记录——关于规范化层、损失函数、权重和偏置的初始化、非线性激活函数等
转载于:https://blog.csdn.net/dgyuanshaofeng/article/details/80345103注意看下pytorch深度学习应用书:https://github.com/zergtant/pytorch-handbook中文文档:https://ptorch.com/docs/1/torchlists##### 这里注意!!...转载 2019-04-11 12:12:17 · 607 阅读 · 0 评论 -
卷积核膨胀详细解析
原文:https://blog.csdn.net/jiongnima/article/details/69487519const int kernel_extent = dilation_data[i] * (kernel_shape_data[i] - 1) + 1;上面的代码描述了卷积核的膨胀操作,我们不妨来做个假设,卷积核为3*3的,膨胀系数为2,那么,卷积核膨胀之后,卷积核...转载 2019-04-11 11:03:54 · 2626 阅读 · 3 评论 -
炼丹笔记 : 调参技巧
转载于:炼丹笔记六 : 调参技巧 - 会写代码的好厨师的文章 - 知乎 https://zhuanlan.zhihu.com/p/56745640本期问题能否聊一聊深度学习中的调参技巧?我们主要从以下几个方面来讲.1. 深度学习中有哪些参数需要调?2. 深度学习在什么时候需要动用调参技巧?又如何调参?3. 训练网络的一般过程是什么?1. 深度学习有哪些需要们关注的参...转载 2019-04-01 21:16:43 · 459 阅读 · 0 评论 -
总结知乎深度学习调参技巧。
1.Deep Learning 之 最优化方法2.深度学习调参有哪些技巧? - Captain Jack的回答 - 知乎 https://www.zhihu.com/question/25097993/answer/127472322调参就是trial-and-error. 没有其他捷径可以走. 唯一的区别是有些人盲目的尝试, 有些人思考后再尝试.快速尝试, 快速纠错这是调参的关键....转载 2019-04-01 21:04:07 · 4313 阅读 · 2 评论 -
深度学习环境配置:Ubuntu+anaconda+cuda8.0+cuDNN7.2.1+ pytorch源码安装+及过程中出现的错误和解决办法
我是想安装pytorch。需要用anaconda(比较强大) NVIDIA CUDA 7.5 or above NVIDIA cuDNN v6.x or above 由于anaconda比较简单。本文重点说明CUDA、cuDNN和pytorch的安装,可直接看对应部分。ps:如果你们配置成功了或者出现了什么问题,希望能留下言啊,我可以改正,以防误导。ps:可以用pip安...原创 2019-03-28 13:39:14 · 8523 阅读 · 0 评论 -
大饼博士X Blog文章索引:机器学习方法系列,深度学习方法系列,三十分钟理解系列等
(我怕忘了这好资源)欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群:433250724,欢迎对算法、机器学习技术感兴趣的同学加入。以下是我利用业余时间在自己博客中写的文章,主要是一些基础、经典算法的整理,目的一方面是为了科普机器学习技术,让更多同学可以知道什么是机器学习;另外一方面也是督促自己在工作之余还可以抽时间学习知识,温故...转载 2018-10-13 15:11:14 · 261 阅读 · 0 评论 -
优化算法通用框架
https://mp.weixin.qq.com/s/xm4MuZm-6nKTn2eE3eNOlg深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam这样的发展历程。1.优化算法通用框架首先定义:待优化参数:w ,目标函数: f(w),初始学习率α。而后,开始进行...转载 2019-04-14 21:46:02 · 867 阅读 · 0 评论 -
总结-空洞卷积(Dilated/Atrous Convolution)、gridding问题以及解决方案、训练技巧BN和PReLU、CReLU
这里有个可视化、直观的图:https://github.com/vdumoulin/conv_arithmetichttps://zhuanlan.zhihu.com/p/50369448https://www.zhihu.com/question/54149221/answer/192025860https://www.zhihu.com/question/54149221/answ...翻译 2019-04-23 20:22:04 · 10229 阅读 · 1 评论 -
原 PyTorch学习之六个学习率调整策略.图示
How to adjust Learning Ratetorch.optim.lr_scheduler.LambdaLR torch.optim.lr_scheduler.StepLR torch.optim.lr_scheduler.MultiStepLR torch.optim.lr_scheduler.ExponentialLR torch.optim.lr_shedul...翻译 2019-06-18 16:07:10 · 3138 阅读 · 0 评论 -
torch.autograd.Variable(target.cuda(async=True)) ---用async调用cuda()出现 SyntaxError: invalid syntax
又比如:./projects/personachat/persona_seq2seq.py:2220:43: E999 SyntaxError: invalid syntax self.zs.copy_(zs, async=True) ^./parlai/agent...原创 2019-06-18 13:33:17 · 11494 阅读 · 1 评论 -
【pytorch】torch.utils.data.DataLoader中的pin_memory属性
原文:https://blog.csdn.net/tsq292978891/article/details/80454568原文:https://blog.csdn.net/tfcy694/article/details/83270701 doc解释: https://pytorch.org/docs/stable/_modules/torch/utils/data/datal...转载 2019-06-18 13:22:09 · 2601 阅读 · 0 评论 -
对FCN的改进,关于dilaition和DUC
Understanding Convolution for Semantic Segmentationhttp://www.cnblogs.com/xiangs/p/9780895.htmlhttps://blog.csdn.net/qq_21997625/arhttps://mp.csdn.net/postedithttps://www.zhihu.com/question/54...原创 2019-07-10 09:24:34 · 1160 阅读 · 0 评论 -
Group Convolution分组卷积,以及Depthwise Convolution和Global Depthwise Convolution
Group Convolution分组卷积,以及Depthwise Convolution和Global Depthwise Convolution转于: https://blog.csdn.net/firelx/article/details/86094419注意DGC。文章目录写在前面 Convolution VS Group Convolution Group Convo...转载 2019-05-13 14:59:08 · 630 阅读 · 0 评论 -
归一化和标准化
1.总结:作用:归一化后加快了梯度下降求最优解的速度; 归一化有可能提高精度。 防止梯度消失或爆炸常见:最值归一化。比如把最大值归一化成1,最小值归一化成-1;或把最大值归一化成1,最小值归一化成0。适用于本来就分布在有限范围内的数据。 均值方差归一化,一般是把均值归一化成0,方差归一化成1。适用于分布没有明显边界的情况,受outlier影响也较小。举例:BatchN...原创 2019-05-11 11:33:19 · 1806 阅读 · 1 评论 -
从Inception v1,v2,v3,v4,RexNeXt到Xception再到MobileNets,ShuffleNet,MobileNetV2
分类任务精度:ShuffleNet v2 ≥MobileNet v2 > ShuffeNet v1 > Xception检测任务精度:ShuffleNet v2 > Xception ≥ ShuffleNet v1 ≥ MobileNet v2ps:1.输入网络大小,比如增加网络宽度,网络输入从224*224变为了299*299。也就是特征图也变大了,网络"变...转载 2019-05-15 21:30:06 · 681 阅读 · 0 评论 -
可视化
https://blog.csdn.net/kaixinjiuxing666/article/details/81004010https://www.aiuai.cn/aifarm646.html#2.TensorBoardX-Graph%E5%8F%AF%E8%A7%86%E5%8C%96https://blog.csdn.net/bigbennyguo/article/details/...原创 2020-09-30 10:54:09 · 139 阅读 · 0 评论 -
pytorch指定层冻结。初始化权重
PyTorch的Module.modules()和Module.children()在PyTorch中,所有的neural network module都是class torch.nn.Module的子类,在Modules中可以包含其它的Modules,以一种树状结构进行嵌套。当需要返回神经网络中的各个模块时,Module.modules()方法返回网络中所有模块的一个iterator,而...转载 2019-04-28 19:53:37 · 9391 阅读 · 3 评论 -
数字图像处理——灰度级、动态范围、对比度
以下为汇总整理: 1. 图像的灰度级:一幅灰度图像它的像素的强度值的取值范围表示为[0, L-1],其中。如8位色的灰度级,由于是2进制,灰度有256个等级,从黑(0)到白(255)。 2. 图像的动态范围:统计一下每一点的像素灰度值,灰度级的最小和最大这一范围,便是该图像的动态范围。动态范围越大(灰度直方图越宽),那它的对比度就会越高,当然看着越清楚。 3. 显示器的动态范围:动态范围就转载 2017-08-23 11:12:00 · 12025 阅读 · 0 评论 -
【论文复现】VGG框架讲解以及VGG16复现,迁移学习自己的数据。tensorflow。
论文链接,至于论文我没仔细看,我只学习了其框架。但是需要注意的是:在训练期间,ConvNets的输入是固定大小的224×224 RGB图像。 唯一预处理是从每个像素中减去在训练集上计算的平均RGB值,(eg:VGG16是:VGG_MEAN = tf.constant([123.68, 116.779, 103.939], dtype=tf.float32))处理时候转换成了RGB→BGR格...原创 2018-10-23 19:33:30 · 2682 阅读 · 0 评论 -
KCF
论文地址:https://arxiv.org/pdf/1404.7584.pdf先随便写写记录下,有空再整理。关于这篇文章,我只想用一组图表达我的心情。难受。前一刻还跑通呢,调节一下,又不行了,半天一天的调bug。这边调好了,那边又出了新的。实在不行,想着可能哪里被我不小心动了下,就用源码替换~额,源码也不顶用了。现在很怀疑是ubuntu下的MATLAB2016b有问题...原创 2018-11-22 20:03:12 · 1874 阅读 · 0 评论 -
关于论文 姿态估计和追踪的衡量基准 official evaluation metric
1.on PoseTrack Challenge dataset.“*” means models trained on train+validation set. Top: Results on PoseTrack valida-tion set. Bottom: Results on PoseTrack test setAblation study:With Joint Similar...原创 2018-11-17 23:31:21 · 258 阅读 · 0 评论 -
Ubuntu,配置DetectAndTrack。
Table of Contents一、项目地址二、要求三、安装四、数据集与评价**注意**:五、运行六、已知问题:ubuntu 上的问题分享:一、项目地址[github] [project page]、[paper]:Girdhar R, Gkioxari G, Torresani L, et al. Detect-and-Track: Effi...原创 2019-03-28 12:47:36 · 1239 阅读 · 7 评论 -
特征匹配与特征检测
1.cv2.xfeatures2d不能使用,sift /surf 不能使用(专利被注册) sift = cv2.xfeatures2d.SIFT_create()cv2.error: OpenCV(3.4.3) /io/opencv_contrib/modules/xfeatures2d/src/sift.cpp:1207: error: (-213:The function/feature...原创 2018-11-10 10:14:38 · 714 阅读 · 0 评论 -
RCNN、SSPnet、FastRCNN、FasterRCNN、YOLO。
序:几张图一:关系https://www.zhihu.com/question/35887527/answer/140239982二: 【图像分类,图像定位,目标检测和实例分割】一、RCNN&创新点 采用CNN网络提取图像特征,从经验驱动的人造特征范式HOG、SIFT到数据驱动的表示学习范式,提高特征对样本的表示能力; 采用大样本下有监督预训练+...原创 2020-09-30 10:56:17 · 973 阅读 · 0 评论 -
看到了一个关于tf.image.resize函数的警告,吓死我了 ,不管啥时候能用到,我赶紧存一下。
这是一个对所有计算机视觉工作者的简短警告:请勿使用任何tf.image.resize函数!该代码实际将你的图像向左和向上移动一个像素,这个破坏过程甚至在插值中。这是2018年,很难想象这是TensorFlow对缩小尺度的结果。 无论你偏好什么样的图像处理过程,坚持使用Scipy/OpenCV/numpy/PIL。当我改变了这部分代码,我的网络焕发出了魅力(当我看到训练结果时,实际上是第二天)。...原创 2018-10-22 17:48:24 · 1303 阅读 · 0 评论 -
学习资料、教程记录
1.python2\python3语法区别2.机器学习实战:git下载地址:https://github.com/pbharrin/machinelearninginaction 官网 百度云盘下载地址:链接:https://pan.baidu.com/s/1qZ31gwW 密码:q4fo3.深度学习1).斯坦福CS231n课程:https://cs231n.gi...原创 2018-09-19 09:33:09 · 143 阅读 · 0 评论 -
姿态估计等数据集收集整理
1.知乎https://zhuanlan.zhihu.com/p/293934152.姿态估计的数据集COCO和MPII,Posetrack的认识3.人体姿态估计数据集整理LSP、FLIC、MPII、MSCOCO、I Challenge4.开源数据集大集合5.MPII单人小demo6.检测与姿态估计的评价标准...原创 2018-09-07 11:16:56 · 2250 阅读 · 0 评论 -
YOLO→you only look once
几篇文章保存下:1.https://blog.csdn.net/guleileo/article/details/80581858(转于https://blog.csdn.net/App_12062011/article/details/77554288)2.https://blog.csdn.net/qq_28123095/article/details/80052308http...原创 2018-09-04 14:38:10 · 158 阅读 · 0 评论 -
COCO 数据集的使用,以及下载链接
转于:https://www.cnblogs.com/q735613050/p/8969452.html Windows 10 编译 Pycocotools 踩坑记 COCO数据库简介 一、下载链接[1] - train2014 images: (13GB)http://images.cocodataset.org/zips/train2014.zip[2] - v...转载 2019-07-03 10:04:10 · 36091 阅读 · 6 评论 -
数据集大全:25个深度学习的开放数据集
摘要: 还在发愁找不到数据集训练你的模型?快来收藏一下史上最全的深度学习数据集汇总吧,有它在,一切都ok~介绍深度学习的关键是训练。无论是从图像处理到语音识别,每个问题都有其独特的细微差别和方法。但是,你可以从哪里获得这些数据?现在你看到的很多研究论文都使用专有数据集,而这些数据集通常不会向公众发布。如果你想学习并应用你新掌握的技能,数据就成为一个问题。在本文中,我们列出了一些高质...转载 2018-08-22 17:14:01 · 971 阅读 · 0 评论 -
detectron+caffe2+maskrcnn汇总
MaskrcnnBenchmark 源码解析-模型定义(modeling)之骨架网络(backbone)maskrcnn_benchmark代码分析(1)拆解 MaskRCNN-Benchmark 项目地址:1.tensorflow+keras 2.Detectron3.MODEL_ZOODetectronDetectron 总结(一)Detectron 总结(二...原创 2018-12-14 14:24:49 · 345 阅读 · 0 评论 -
DETECTRON Mask_RCNN训练及使用
这个还可以关联pascal voc等等,但pascal voc主要是分割等,关键点的话就coco,posetrackCOCO数据集下载:https://blog.csdn.net/u014734886/article/details/78830713Setting Up DatasetsThis directory contains symlinks to data locatio...原创 2018-12-11 22:12:03 · 1287 阅读 · 0 评论 -
六种人体姿态估计的深度学习模型和代码总结
六种人体姿态估计的深度学习模型和代码总结姿态估计的目标是在RGB图像或视频中描绘出人体的形状,这是一种多方面任务,其中包含了目标检测、姿态估计、分割等等。有些需要在非水平表面进行定位的应用可能也会用到姿态估计,例如图形、增强现实或者人机交互。姿态估计同样包含许多基于3D物体的辨认。在这篇文章中,Model Zoo的作者汇总了几种开源的深度学习模型以及针对姿态估计的代码,论智对其进行了编译,...转载 2018-08-24 17:09:56 · 30931 阅读 · 4 评论 -
零基础入门深度学习的五篇经典教程
零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识,只要会写程序就行了,没错,这是专门为程序员写的文章。虽然文中会有很多公式你也许看不懂,但同时也会有更多的代码,程序员的你一定能看懂的(我周围是一群狂热的Clean Code程序员,所以我写的代码也不会很差)。文章更新了5篇:零基础入门深度学习(1) - 感知器深度学习是啥在人...转载 2018-03-15 09:37:51 · 13754 阅读 · 6 评论 -
PLA算法实现——MATLAB
具体可参见大神的文章 http://blog.csdn.net/red_stone1/article/details/70866527 我只是写简洁点方便自己下次 看。 例证:银行发信用卡的老问题。 把客户各方面信息作为特征向量X,令总共有d个特征,每个特征的影响力作为权重w。则用综合信息的情况来判断是否发其信用卡,超过限定值threshold便发,否则不发。原创 2017-08-18 16:48:56 · 2364 阅读 · 0 评论 -
关于卷积的 非常形象的图
图是别的博客转载知乎的,没给地址,我也不知道原作是谁,画的很好,感谢。但下面第一张图的最上面应该改为:Feature Matric:()卷积的实现思想:将image转为一个matrix,将卷积操作转为矩阵乘法运算看下第二幅图:输入图片是3*3*3,假设是RGB,卷积核(滤波器)是2*3*2*2,stride=1,(每个、每层(RGB或BGR)的卷积核是不一样的)先看上半...原创 2019-04-11 09:58:44 · 598 阅读 · 0 评论 -
深度学习网络调参技巧
转载请注明:炼丹实验室之前曾经写过一篇文章,讲了一些深度学习训练的技巧,其中包含了部分调参心得:深度学习训练心得。不过由于一般深度学习实验,相比普通机器学习任务,时间较长,因此调参技巧就显得尤为重要。同时个人实践中,又有一些新的调参心得,因此这里单独写一篇文章,谈一下自己对深度学习调参的理解,大家如果有其他技巧,也欢迎多多交流。好的实验环境是成功的一半由于深度学习实验超参众多,代码风格...转载 2019-04-01 20:03:49 · 149 阅读 · 0 评论