deep learning
dulingtingzi
这个作者很懒,什么都没留下…
展开
-
tensorflow与深度学习之二
tensorflow是什么 tensorflow计算模型-计算图 2.1计算图的概念 2.2计算图的使用 tensorflow数据模型-张量 3.1张量的概念 3.2张量的使用 tensorflow运行模型-会话 tensorflow实现神经网络 第一个CNN网络 6.1CNN算法原理 6.2CNN是干什么的 6.3tensorflow实现CNN 6.4CNN模型发展 第一个RNN网络 7.1RNN算法原理 7.2RNN是干什么的 7.3tensorflow实现RN..原创 2020-08-14 10:15:54 · 1306 阅读 · 0 评论 -
tensorflow与深度学习之一
目录 tensorflow是什么 tensorflow计算模型-计算图 2.1计算图的概念 2.2计算图的使用 tensorflow数据模型-张量 3.1张量的概念 3.2张量的使用 tensorflow运行模型-会话 tensorflow实现神经网络 第一个CNN网络 6.1CNN算法原理 6.2CNN是干什么的 6.3tensorflow实现CNN 6.4CNN模型发展 第一个RNN网络 7.1RNN算法原理 7.2RNN是干什么的 7.3tensorflow原创 2020-07-15 10:52:23 · 1195 阅读 · 0 评论 -
faster rcnn 中核心部分RPN网络的整理与理解
转载自:https://blog.csdn.net/wakojosin/article/details/79363224学习fasterrcnn检测已经有一段时间了,最近才把核心的RPN部分进行的理解和整理,理解的偏差还请各位大神指正, RPN(RegionProposal Network)区域生成网络 1. 在五层conv,poolling,relu之后,取出conv5的输出,送给...转载 2018-07-23 17:13:31 · 3741 阅读 · 0 评论 -
机器学习中的验证集的作用和如何使用
转载自:https://blog.csdn.net/u014038273/article/details/80145317验证集的作用:在机器学习或者深度学习中,我们需要了解我们的模型包括什么:1)模型设计:①模型架构(包括模型有多少层,每层有多少个神经元);②可训练权重参数(模型内置参数);2)模型训练的参数(模型外置参数,如学习率、优化策略等等)。这一块具体大家可以去看一下吴恩达老师机器学习的...转载 2018-06-19 17:09:31 · 4847 阅读 · 0 评论 -
Early Stopping与Learning Rate
转载自:https://www.jianshu.com/p/9ab695d91459目的为了获得性能良好的神经网络,网络定型过程中需要进行许多关于所用设置(超参数)的决策。超参数之一是定型周期(epoch)的数量:亦即应当完整遍历数据集多少次(一次为一个epoch)?如果epoch数量太少,网络有可能发生欠拟合(即对于定型数据的学习不够充分);如果epoch数量太多,则有可能发生过拟合(即网络对定...转载 2018-06-19 16:31:25 · 2063 阅读 · 0 评论 -
faster rcnn中rpn的anchor,sliding windows,proposals的理解
一直对faster rcnn里的rpn以及下图中的上面的那部分的区别不太理解,今天看到了知乎里面的回答,感觉有点明白了,特此记录作者:马塔链接:https://www.zhihu.com/question/42205480/answer/155759667来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。首先我们需要知道anchor的本质是什么,本质是SPP(spati...转载 2018-06-21 11:07:23 · 2389 阅读 · 1 评论 -
卷积神经网络的复杂度分析
转载自:http://www.dataguru.cn/article-12668-1.html在梳理CNN经典模型的过程中,我理解到其实经典模型演进中的很多创新点都与改善模型计算复杂度紧密相关,因此今天就让我们对卷积神经网络的复杂度分析简单总结一下下。1.时间复杂度1.2 卷积神经网络整体的时间复杂度示例:用 Numpy 手动简单实现二维卷积假设 Stride = 1, Padding = 0, ...转载 2018-05-16 16:50:02 · 1321 阅读 · 0 评论 -
深度学习调参经验
作者:Captain Jack链接:https://www.zhihu.com/question/25097993/answer/127472322来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。我现在的工作内容主要就是使用CNN做CV任务. 干调参这种活也有两年时间了. 我的回答可能更多的还是侧重工业应用, 技术上只限制在CNN这块.先说下我的观点, 调参就是tri...转载 2018-05-16 10:54:49 · 1173 阅读 · 0 评论 -
深度学习中的激活函数与梯度消失
转载自https://blog.csdn.net/shwan_ma/article/details/76252355近来研究深度学习,发现里面的trick很多,特地用blog记录下,以免以后忘掉 本文主要介绍常用的的激活函数, Sigmoid, tanh, Relu, Leaky reluSigmoid激活函数sigmoid函数在历史上很受欢迎,因为他很符合神经元的特征, 优点是: 能够把输出控制...转载 2018-05-15 11:01:20 · 10897 阅读 · 0 评论 -
深入浅出——搞懂卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题(二)
转载自 https://blog.csdn.net/u010402786/article/details/51228405上一篇主要是对卷积神经网络的整个训练过程中公式以及误差的推导给出详细的分析。 博客地址:http://blog.csdn.net/u010402786/article/details/51226825 这一篇主要对卷积神经网络中出现的一些问题进行一个详细的阐述。第一个问...转载 2018-05-15 10:25:16 · 976 阅读 · 0 评论 -
深度学习防止过拟合的几种方法
转载自:https://blog.csdn.net/taoyanqi8932/article/details/71101699https://blog.csdn.net/Left_Think/article/details/77684087?locationNum=5&fps=1过拟合即在训练误差很小,而泛化误差很大,因为模型可能过于的复杂,使其”记住”了训练样本,然而其泛化误差却很高,在...转载 2018-05-07 22:29:23 · 13124 阅读 · 0 评论 -
RCNN--目标检测
转载自:https://www.cnblogs.com/zyber/p/6672144.html感觉这篇文章讲的很细致,故而转载以备后面复习研读原博文:http://www.cnblogs.com/soulmate1023/p/5530600.html文章简要介绍RCNN的框架,主要包含:原图--》候选区域生成--》对每个候选区域利用深度学习网络进行特征提取--》特征送入每一类SV...转载 2018-06-26 14:58:15 · 1281 阅读 · 0 评论 -
[转载]深度学习论文笔记:OverFeat
转载自:https://blog.csdn.net/MyArrow/article/details/519098771. 传统检测和定位方法 对于检测和定位问题,最自然(也是最常用的方法)就是采用滑窗对每一个图像块进行检测,从而确定目标物体的位置。以上解决分类、检测和定位的方法有一个共同的地方,就是需要一个滑窗对整幅图像进行密集采样,然后处理每一个采样得到的图像块。传统的处理这些图像块的方法...转载 2018-06-20 10:51:44 · 269 阅读 · 0 评论 -
tensorflow使用python对pb模型做预估
tensorflow中ckpt模型转成pb模型的代码:参考链接https://blog.csdn.net/dulingtingzi/article/details/90790282但是为了使大家更容易明白,因为有些变量需要统一,这里针对下面的使用pb模型进行预估的代码,粘贴一下ckpt转pb模型:import tensorflow as tfimport osfrom tensorf...原创 2019-10-10 11:40:48 · 2039 阅读 · 0 评论 -
将keras训练的h5模型转成pb格式
import osimport tensorflow as tffrom keras import backend as Kimport loggingfrom tensorflow.python.util import compatfrom keras.layers import Conv2D, Dense, Input, add, Activation, AveragePoolin...原创 2019-06-04 18:37:29 · 3728 阅读 · 0 评论 -
那些年,我们踩过的Batch_normlization的坑
先说一下batch_normlization的原理吧,我就不复制粘贴了,大家可以去这个博客看一下,原理讲的挺好的https://blog.csdn.net/hjimce/article/details/50866313https://www.cnblogs.com/bonelee/p/8528722.html下面主要是我在实践当中遇到的问题。我用tensorflow.slim模块进...原创 2019-06-06 11:35:58 · 1648 阅读 · 0 评论 -
densenet比resnet参数量少,但训练速度慢的原因分析
笔者做一个四分类的模型,发现了一个非常有意思的问题,就是训练好的densenet的h5模型只有1.3M的参数量,而resnet50的参数量有271M之多,但是训练的速度竟然是densenet更慢,笔者很迷惑,所以就查找了一些资料并对网络结构进行分析,做一下记录,供大家参考。首先我查找了一些资料,进行分析,毕竟要先知道网络速度的快慢和啥有关对吧,参考如下博客,https://blog...原创 2019-05-24 14:00:22 · 15189 阅读 · 4 评论 -
tf.nn.dynamic_rnn的输出outputs和state含义
转载自https://blog.csdn.net/u010960155/article/details/81707498一、tf.nn.dynamic_rnn的输出tf.nn.dynamic_rnn的输入参数如下:tf.nn.dynamic_rnn(cell,inputs,sequence_length=None,initial_state=N...转载 2019-04-10 17:13:57 · 941 阅读 · 0 评论 -
ctpn解读
1、一些资源1.1、原始论文:https://arxiv.org/pdf/1609.03605.pdf1.2、一些讲的比较好的中文博客,可以先看中文博客,再看原始论文:https://blog.csdn.net/zchang81/article/details/78873347https://blog.csdn.net/SIGAI_CSDN/article/details/8...原创 2019-03-08 18:01:29 · 9585 阅读 · 3 评论 -
基础 | batchnorm原理及代码详解
转载自https://blog.csdn.net/qq_25737169/article/details/79048516这篇博客里面介绍的很详细另外一般讲到BN是在CNN里面用的,RNN是否也能用呢,这篇文章对论文的总结与看法会给你答案。https://blog.csdn.net/malefactor/article/details/51549771RNN在沿着时间序列展开后会是...转载 2018-07-29 12:49:10 · 726 阅读 · 0 评论 -
自然场景文本检测识别技术综述
转载自https://blog.csdn.net/SIGAI_CSDN/article/details/80858565番外青蛇: 姐, 图像文本检测和识别领域现在的研究热点是什么?白蛇: 白纸黑字的扫描文档识别技术已经很成熟,而自然场景图像文本识别的效果还不理想。倾斜字、艺术字、变形字、模糊字、形似字、残缺字、光影遮蔽、多语言混合文本等应用落地面临的技术难题还没被彻底解决。青蛇: 文...转载 2018-07-19 08:32:23 · 12190 阅读 · 1 评论 -
NMS——非极大值抑制
转载自:https://blog.csdn.net/shuzfan/article/details/52711706NMS(non maximum suppression),中文名非极大值抑制,在很多计算机视觉任务中都有广泛应用,如:边缘检测、目标检测等。这里主要以人脸检测中的应用为例,来说明NMS,并给出Matlab和C++示例程序。人脸检测的一些概念(1) 绝大部分人脸检测器的核心是分类器,即...转载 2018-05-18 18:13:15 · 510 阅读 · 0 评论 -
深入浅出——深度学习中的Batch Normalization使用
原文地址:http://blog.csdn.net/hjimce/article/details/50866313转载自:https://blog.csdn.net/u010402786/article/details/51233854(因为感觉这个作者的排版比较好看)关于归一化部分的理解参考资料:神经网络之家 www.nnetinfo.com http://www.nnetinfo.com/nn...转载 2018-05-11 16:11:56 · 3275 阅读 · 0 评论 -
增强学习、增量学习、迁移学习——概念性认知
转载自:http://blog.csdn.net/zyazky/article/details/51942135一、增强学习/强化学习(Reinforcement Learning ) 我们总是给定一个样本x,然后给或者不给label y。之后对样本进行拟合、分类、聚类或者降维等操作。然而对于很多序列决策或者控制问题,很难有这么规则的样本。比如,四足机器人的控制问题,刚开始都不知道应...转载 2018-03-13 11:18:04 · 1397 阅读 · 0 评论 -
python生成lmdb格式的文件
在crnn训练的时候需要用到lmdb格式的数据集,下面是python生成lmdb个是数据集的代码,注意一定要在linux系统下,否则会读入图像的时候出问题,可能遇到的问题都在代码里面注释了,看代码即可。#-*- coding:utf-8 -*-import osimport lmdb#先pip install这个模块哦import cv2import globimpor...原创 2018-03-16 18:14:35 · 7184 阅读 · 15 评论 -
You Only Look Once论文中文翻译
You Only Look Once统一的实时目标检测Abstract 我们提出YOLO,一种新的目标检测方法。以前的对目标检测的工作重新使用分类器来执行检测。相反,我们将目标检测框架为回归问题,空间分离的边界框和相关类概率。单个神经网络在一次评估中直接从完整图像预测边界框和类概率。 由于整个检测流水线是单个网络,因此可以直接优化端到端的检测性能。 我们的统一架构非常快。我们的基本YOLO模型以...转载 2018-02-27 15:42:01 · 742 阅读 · 0 评论 -
fast-rcnn论文翻译
转载自:http://blog.csdn.net/qq_14839543/article/details/54425051摘要 本文提出了一种快速的基于区域的卷积网络方法(fast R-CNN)用于目标检测。Fast R-CNN建立在以前使用的深卷积网络有效地分类目标的成果上。相比于之前的成果,Fast R-CNN采用了多项创新提高训练和测试速度来提高检测精度。Fast R-CNN训练非常深的V...转载 2018-02-27 15:40:53 · 776 阅读 · 0 评论 -
【目标检测】RCNN算法详解
转载自:http://blog.csdn.net/shenxiaolu1984/article/details/51066975Region CNN(RCNN)可以说是利用深度学习进行目标检测的开山之作。作者Ross Girshick多次在PASCAL VOC的目标检测竞赛中折桂,2010年更带领团队获得终身成就奖,如今供职于Facebook旗下的FAIR。 这篇文章思路简洁,在DPM方法多年平台...转载 2018-02-27 14:34:36 · 196 阅读 · 0 评论 -
目标检测-RCNN系列
本文转载自http://blog.csdn.net/linolzhang/article/details/54344350• RCNN RCNN(Regions with CNN features)是将CNN方法应用到目标检测问题上的一个里程碑,由年轻有为的RBG大神提出,借助CNN良好的特征提取和分类性能,通过RegionProposal方法实现目标检测问题的转化。 ...转载 2018-02-26 17:55:51 · 418 阅读 · 0 评论 -
RNN以及LSTM的介绍和公式梳理
转自:http://blog.csdn.net/Dark_Scope/article/details/47056361前言好久没用正儿八经地写博客了,csdn居然也有了markdown的编辑器了,最近花了不少时间看RNN以及LSTM的论文,在组内『夜校』分享过了,再在这里总结一下发出来吧,按照我讲解的思路,理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。RN转载 2016-06-01 10:01:49 · 1523 阅读 · 0 评论 -
Stacked Autoencoders
博文内容参照网页 Stacked Autoencoders ,Stacked Autocoders是栈式的自编码器(参考网页 Autoencoder and Sparsity 和博文自编码与稀疏性),就是多层的自编码器,把前一层自编码器的输出(中间隐藏层)作为后一层自编码器的输入,其实就是把很多自编码器的编码部分叠加起来,然后再叠加对应自编码器的解码部分,这样就是一个含有多个隐含层的自编码转载 2016-05-05 18:00:53 · 1071 阅读 · 0 评论 -
【面向代码】学习 Deep Learning(二)Deep Belief Nets(DBNs)
原文链接:http://blog.csdn.net/dark_scope/article/details/9447967最近一直在看Deep Learning,各类博客、论文看得不少但是说实话,这样做有些疏于实现,一来呢自己的电脑也不是很好,二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的UFLDL tutorial 写了些已有框架的代码(这部分的代码见git转载 2016-05-12 17:47:57 · 674 阅读 · 0 评论 -
卷积中池化的方法与总结
参考链接:https://blog.csdn.net/mao_kun/article/details/50507376https://blog.csdn.net/LIYUAN123ZHOUHUI/article/details/61920796https://www.zhihu.com/question/366869001、池化的方法 在卷积神经网络中,我们经常会碰到池化操作,而池化层往往在...原创 2018-04-08 11:21:59 · 5376 阅读 · 0 评论 -
深度学习--Inception-ResNet-v1网络结构
本文转载自:https://blog.csdn.net/lovelyaiq/article/details/79026181,只有一小部分根据自己的理解做了修整版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lovelyaiq/article/details/79026181目录(?)[-]Stem结构Inception-resnet-A模块Red...转载 2018-04-09 13:29:09 · 3396 阅读 · 0 评论 -
Detection物体检测及分类方法总结(RFCN/SSD/RCNN/FastRCNN/FasterRCNN/SPPNet/DPM/OverFeat/YOLO)
转载自:https://blog.csdn.net/yimingsilence/article/details/53995721哇,这个大神的这篇总结真的是太全面了,真心推荐大家都去关注一下这里搜集了一些关于物体检测的方法分析和介绍,看好哪个可以去详细研究一下,基本都有论文或代码的链接。这里是简述各种方法,下面有详细叙述方法选择:========DPM=========使用传统的slider wi...转载 2018-04-26 16:49:28 · 575 阅读 · 0 评论 -
机器学习深度学习调优方法介绍
机器学习中的两个需要克服的问题就是过拟合和欠拟合,所以在调优过程中,针对这两方面分别有以下调优的小方法(当然要选择合适的代价函数和正则项啦):1、针对过拟合(传统机器学习)1、获取更多训练样本,这样可以覆盖更多场景2、尝试少些特征,这样模拟函数会简单一些3、尝试增大正则项前面的系数λ,这样函数参数会变小一些,模拟函数会更倾向于简单2、针对欠拟合(传统机器学习)1、尝试更多特征,让模拟函数复杂一些2...原创 2018-05-10 17:16:00 · 700 阅读 · 0 评论 -
机器学习与深度学习里生成模型和判别模型的理解
这篇博客是自己在学习生成模型与判别模型过程中的一些记录,整理了相关的文章后写成,感谢前辈们的辛苦总结转载自:https://blog.csdn.net/zouxy09/article/details/8195017https://blog.csdn.net/lk7688535/article/details/52353350https://blog.csdn.net/Solomon1558/art...转载 2018-05-10 15:20:51 · 24038 阅读 · 8 评论 -
详解机器学习中的梯度消失、爆炸原因及其解决方法
转载自:https://blog.csdn.net/qq_25737169/article/details/78847691 前言本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分,第一部分主要直观的介绍深度学习中为什么使用梯度更新,第二部分主要介绍深度学习中梯度消失及爆炸的原因,第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。 其中,...转载 2018-05-09 15:40:36 · 8346 阅读 · 0 评论 -
DenseNet算法详解
这篇文章转载自:https://blog.csdn.net/u014380165/article/details/75142664和https://blog.csdn.net/zchang81/article/details/76155291,文章下面的评论也非常好,建议大家去看作者原来的博客,我这里只是做一个转录。论文:Densely Connected Convolutiona...转载 2018-04-13 15:53:17 · 10633 阅读 · 0 评论 -
VGGNET理解
此文章大部分引用了 大数据与人工智能Lab“微信号(BigdataAILab) 里面对VGGNET部分的文章,感觉这个公众号很不错,里面的白话深度学习部分非常受用。在读的过程中遇到了很多不懂的问题,通过各种查资料搞明白了很多,记录下来,给和我一样的小伙伴们提供一个比较快的途径,也方便自己以后复习。 本文的结构主要围绕这篇VGGNET的文章展开,里面加了自己的理解的部分...原创 2018-04-06 13:57:42 · 7517 阅读 · 0 评论