深度学习相关
LoveMIss-Y
爱生活,爱学习,爱这个世界上一切让自己觉得快乐的东西,爱MIss-Y
展开
-
tensorboard填坑系列之一——为什么每次打开浏览器都会显示同一个日志文件?
一、出现的问题描述我们习惯上在编写Python代码的时候,会在一个文件夹下放置很多个python文件,然后运行每一个Python文件都生成一个TensorFlow日志文件,但是又放在不同的文件夹之下,比如下面的样子:在同一个python项目中,有四个python文件,每一个运行之后产生一个TensorFlow日志文件,分别放在四个同一目录之下不同的四个文件夹里面,我们在查看第一个日志的...原创 2018-08-22 11:27:19 · 3334 阅读 · 2 评论 -
【个人整理】一文看尽目标检测算法SSD的核心架构与设计思想
前言:SSD(Single Shot MultiBox Detector)是大神Wei Liu在 ECCV 2016上发表的一种的目标检测算法。对于输入图像大小300x300的版本在VOC2007数据集上达到了72.1%mAP的准确率并且检测速度达到了惊人的58FPS( Faster RCNN:73.2%mAP,7FPS; YOLOv1: 63.4%mAP,45FPS),500x500...原创 2019-04-09 14:50:08 · 11575 阅读 · 1 评论 -
【个人整理】循环神经网络RNN对于变长序列的处理方法
前言:我们前面将的各种循环神经网络的实现都是固定的时间步长的,即timesteps的长度是固定的,但是在实际问题中,这个往往是不固定的,为什么呢?因为文本数据在处理的时候,由于各样本的长度并不一样,有的句子长有的句子短这就导致在timesteps上面是维度不固定的,这种数据该如何处理呢?这就是本文要说的重点了。目录一、大胆尝试,直接填充0行不行?二、tensorflow对于...原创 2019-04-04 09:59:34 · 20862 阅读 · 16 评论 -
【填坑记】使用keras绘制(plot_model)网络结构图总是出错的解决办法
本人使用的开发环境python3.6.8+tensorflow1.9+keras2.2.4前提:已经正确安装pydot和graphviz的python软件包,并且安装windows的graphviz安装包,并且配置好了环境变量错误:pydot不能够正确调用graphviz,请确保已经安装了graphviz并配置了环境变量网络上其它的解决方案:(1)确保安装顺序正确:gr...原创 2019-04-16 17:55:54 · 5398 阅读 · 2 评论 -
【个人整理】一文看尽全卷积网络FCN设计架构以及设计思想
前言:语义分割(Semantic Segmentation)是计算机视觉领域的热点领域之一,当前与目标检测、实例分割等都是非常热门的研究,但是语义分割的历史溯源却非常早,知道深度学习的兴起,特别是卷积神经网络的兴起,给语义分割带来新的发展方向,当前语音分割的模型层出不穷,他们的思想起源都来自于全卷积神经网络,即所谓的FCN,本文就来盘点一下FCN的核心设计思想。一、什么是语义分割(S...原创 2019-04-18 10:40:49 · 8726 阅读 · 6 评论 -
【个人整理】google语义分割网络Deep Lab v3 plus设计思想以及架构
前言:DeepLab v3+作为google的Deeplab系列文章的巅峰,提出了一些新的创新点,它是在DeepLab v3的基础之上进行了改进。一、DeepLab v3+ 概览1.1 语义分割的门派之争当前的语义分割网络层出不穷,基本上形成了4种不同的实现架构(1)图像金字塔的构架 (DeepMedic、2-scale-RefineNet等) 首先对输入...原创 2019-04-26 16:13:44 · 3642 阅读 · 0 评论 -
【个人整理】语义分割网络SegNet设计架构与设计思想
前言:SegNet语义分割网络是2015年的一篇论文,论文通篇所涉及到的基本理论很少,网络结构也不是很复杂,本文从SegNet的结构着手,分析一下SegNet的工作原理是涉及思想。一、SetNet的相关资源SegNet同样是基于FCN,修改VGG-16网络得到的语义分割网络,有两种SegNet,分别为正常版SegNet与贝叶斯版SegNet,同时SegNet作者根据网络的深度提供了...原创 2019-04-22 16:37:15 · 4773 阅读 · 4 评论 -
深度学习常用的训练数据集介绍以及下载
前言:数据是深度学习的血液,本文介绍一下当前非常常见的一些数据集。1 ImageNetImageNet是一个计算机视觉系统识别项目,是目前世界上图像识别最大的数据库。是美国斯坦福的计算机科学家李飞飞模拟人类的识别系统建立的。能够从图片识别物体。目前已经包含14197122张图像,是已知的最大的图像数据库。每年的ImageNet大赛更是魂萦梦牵着国内外各个名校和大型...转载 2019-04-15 11:56:30 · 29313 阅读 · 4 评论 -
pytorch学习手册【二】
九、Reduction Ops(规约/简化操作)torch.argmax(input,dim=None,keepdim=False)torch.argmin(input,dim=None,keepdim=False)torch.cumprod(input,dim,dtype=None)→ Tensortorch.cumsum(input,dim,o...原创 2019-04-18 11:59:01 · 1802 阅读 · 0 评论 -
【个人整理】语义分割网络U-Net的设计架构与设计思想
前言:语义分割的基本模型大都是在FCN的基础之上进行改进的,本文所要讨论的U-Net网络便是如此,U-net 是基于FCN的一个语义分割网络,适合与少量样本的图像分割,比如用来做医学图像的分割,能够取得非常好的成绩。一、U-Net网络的结构 1.1 基本信息 1.2 U-Net的主要结构 1.3 网络的输出是什么? 1.4 U-Net的损失函...原创 2019-04-23 18:08:07 · 5400 阅读 · 4 评论 -
pytorch自动求导Autograd系列教程(一)
前言:构建深度学习模型的基本流程就是:搭建计算图,求得损失函数,然后计算损失函数对模型参数的导数,再利用梯度下降法等方法来更新参数。搭建计算图的过程,称为“正向传播”,这个是需要我们自己动手的,因为我们需要设计我们模型的结构。由损失函数求导的过程,称为“反向传播”,求导是件辛苦事儿,所以自动求导基本上是各种深度学习框架的基本功能和最重要的功能之一,PyTorch也不例外,后面有时间会写一下...原创 2019-04-19 15:22:56 · 11221 阅读 · 12 评论 -
【个人整理】深入详解金字塔场景解析网络(PSPNet)
前言:在这篇文章中,利用pyramid pooling module和PSPNet,通过聚合不同区域的上下文信息,挖掘出了全局上下文信息的承载力。一些关于PSPNet的基本资源如下:原文地址:PSPNet代码:pspnet-github Keras tensorflow一、摘要二、什么是场景解析(Scene Parsing) 2.1 场景解析的概述...原创 2019-04-28 18:02:48 · 16279 阅读 · 3 评论 -
【个人整理】google语义分割网络Deep Lab v1设计思想以及架构
前言:前面介绍的FCN、SegNet、U-Net在语义分割的效果上还没有完全达到预想的那种程度,他们的核心设计理念其实都是一样的,都可以说是一个Ecoder-Decoder的架构,并且使用全卷积网络,这样做有着一些比较大的缺点依然没有解决,google在此基础之上提出了Deep Lab系列网络,现在已经有了 v1 、v2 、v3 、v3+这几个版本,本文来看一看v1版本。一、视觉任务...原创 2019-04-24 16:26:52 · 1396 阅读 · 1 评论 -
【个人整理】实例分割模型Mask-RCNN网络原理与架构详解
前言:Mask R-CNN是一个非常灵活的框架,它来源于faster-RCNN和全卷积网络FCN,但是又提出了很多的改进措施,Mask-RCNN非常灵活,我们可以可以增加不同的分支完成不同的任务,可以完成目标分类、目标检测、语义分割、实例分割、人体姿势识别等多种任务,与其说Mask-RCNN是一个实例分割算法,倒不如说Mask-RCNN是一个灵活的框架。一、Mask-RCNN概览...原创 2019-04-30 14:02:54 · 22870 阅读 · 7 评论 -
【个人整理】tensorflow关于循环神经网络(RNN)的输出与状态的“维度”分析
前言:使用现在主流的深度学习框架实现循环神经网络是很简单方便的,所以我们很多时候可能忘了怎么去分析神经网络的输入,输出到底是什么,循环层各个节点之间维护的所谓的状态到底是什么?本文需要循环神经网络的基本知识和一些基本的理论,可以参见我前面的两篇文章:https://blog.csdn.net/qq_27825451/article/details/88870027写这篇文章的初衷是...原创 2019-04-03 11:27:05 · 6397 阅读 · 2 评论 -
【个人整理】一文看尽YOLO V3的架构以及改进技巧
前言:YOLO V3作为YOLO系列文章的第三篇,是YOLO系列文章的巅峰,也是现在使用最为广泛的YOLO系列算法,完全比肩SSD系列算法,yolo的v1和v2都不如SSD算法,原谅这么直白,原因是v1版本的448和v2版本的416都不如SSD的300,当然以上结论都是实验测的,v3版本的416应该比SSD512好,可见其性能。那么现在来看一看YOLO V3在原来的YOLO系列上究竟有哪些...原创 2019-04-04 14:52:59 · 26182 阅读 · 5 评论 -
tensorflow各个版本的CUDA以及Cudnn版本对应关系
概述,需要注意以下几个问题:(1)NVIDIA的显卡驱动程序和CUDA完全是两个不同的概念哦!CUDA是NVIDIA推出的用于自家GPU的并行计算框架,也就是说CUDA只能在NVIDIA的GPU上运行,而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA的作用。CUDA的本质是一个工具包(ToolKit);但是二者虽然不一样的。显卡驱动的安装:当我们使用...原创 2019-04-08 14:50:34 · 486133 阅读 · 76 评论 -
python、机器学习、深度学习资源推荐
一、公众号资源推荐——公众号“勇敢AI”“勇敢AI”——一个专注于人工智能的微信公众平台。本人新开创了一个公众号,经过长时间的积累,也积累了大量的资源,有众多的福利与大家分享,希望有兴趣的关注一下福利如下:1、海量电子书资源 后面还会持续收录相关的电子书,希望大家持续关注。2、 海量课程、教程资源下载你只要关注本公众号,就可以免费获得了。3、每个...原创 2018-09-13 10:48:15 · 1237 阅读 · 0 评论 -
一文彻底搞懂卷积神经网络的“感受野”,看不懂你来找我!
一、什么是“感受野”1.1 感受野的概念“感受野”的概念来源于生物神经科学,比如当我们的“感受器”,比如我们的手受到刺激之后,会将刺激传输至中枢神经,但是并不是一个神经元就能够接受整个皮肤的刺激,因为皮肤面积大,一个神经元可想而知肯定接受不完,而且我们同时可以感受到身上皮肤在不同的地方,如手、脚,的不同的刺激,如痛、痒等。这说明皮肤感受器是由很多不同的神经元控制的,那么每一个...原创 2018-10-23 10:04:40 · 5441 阅读 · 8 评论 -
深度神经网络重要原理及理论思想篇——自编码器(AutoEncoder)
一、从生成模型开始谈起1、什么是生成模型?概率统计层面:能够在给丁某一些隐含参数的条件下,随机生成观测数据的这样一种模型,称之为“生成模型”。它给观测值和比周数据系列制定一个连和概率分布机器学习层面:直接对数据进行建模,比如根据某个变量的概率密度函数进行数据采样。在贝叶斯算法中,直接对连和概率分布P(x,y)进行建模,然后利用贝叶斯公式进行求解P(y|x)。2、生成模型的两大类型...原创 2018-12-12 14:15:37 · 37098 阅读 · 2 评论 -
深度学习参数初始化(weights initializer)策略大全
前言:深度学习的初始化参数指的是在网络训练之前,对各个节点的权重和偏置进行初始化的过程,很多时候我们以为这个初始化是无关紧要的,不需要什么讲究,但是实际上,一个参数的初始化关系到网络能否训练出好的结果或者是以多快的速度收敛,这都是至关重要的,有时候因为参数初始化的缘故,甚至得不到好的训练结果。本文就来讨论一下参数初始化到底有什么讲究以及常见的参数初始化的一些策略方法。阅读本文需要神经网络...原创 2019-03-21 11:20:37 · 28731 阅读 · 1 评论 -
深度学习饱受争议的局部响应归一化(LRN)详解
前言:Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法,其跟激活函数是有区别的,LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。通过实验确实证明它可以提高模型的泛化能力,但是提升的很少,以至于后面不再使用,甚至有...原创 2019-03-26 10:06:31 · 33839 阅读 · 6 评论 -
ZF网络架构深度详解
前言:ZF网络是2013年提出的,网上有很多关于它的介绍和讲解,但是很多内容讲的不太好(个人感觉),于是花时间收集了一些资料,整理了一些比较好的文章,从头到尾把ZFNet说了一遍。一、ZFNet简介1.1 为什么起名ZFnetwork ILSVRC 2013获胜者是来自Matthew Zeiler和Rob Fergus的卷积网络。它被称为ZFNet(Zeiler&...原创 2019-03-26 14:38:52 · 11396 阅读 · 7 评论 -
【个人整理】长短是记忆网络LSTM的原理以及缺点
前言:普通的循环神经网络RNN是很难训练的,这导致了它在实际应用中,很难处理长距离的依赖。在本文中,我们将介绍一种改进之后的循环神经网络:长短时记忆网络(Long Short Term Memory Network, LSTM),它成功的解决了原始循环神经网络的缺陷,成为当前最流行的RNN,在语音识别、图片描述、自然语言处理等许多领域中成功应用。本文将大致介绍一下LSTM的工作原理,然后介...原创 2019-04-04 11:16:43 · 34905 阅读 · 5 评论 -
【个人整理】faster-RCNN的关键点(区域推荐网络RPN)详解
前言:faster-RCNN是区域卷积神经网络的第三篇文章,是为了解决select search方法找寻region proposal速度太慢的问题而提出来的,整个faster-RCNN的大致框架依然是沿袭了fast-RCNN的基本能结构,只不过在region proposal的产生上面应用了专门的技术手段——区域推荐网络(region proposal network,即RPN),这是整...原创 2019-03-28 10:53:10 · 19673 阅读 · 12 评论 -
【个人整理】目标检测框架yolo v1深入剖析
前言: faster-RCNN在目标检测精度上已经能够达到一个很高的水准,但是作为RCNN系列的最巅峰,它提出了RPN网络产生推荐性区域,但是它依旧有着一些缺点,这些区域里面有大面积是重合的,影响了计算效率。为了更好地提升目标检测的计算效率,从DPM检测中获得了相关的灵感,于是yolo网络应运而生,现在yolo网络已经有了很多的版本,yolo v1、yolo v2、yolo v3、fast...原创 2019-04-01 14:48:38 · 3678 阅读 · 0 评论 -
【个人整理】一文看尽YOLO V2的10个改进技巧
前言:YOLO V1 问世已久,风头很快就被SSD盖过,原作者rbg(Ross Girshick)大神自然不甘心,于是又在yolo v1的基础之上提出了YOLO v2 ,根据论文中的总结,yolo v2在yolo v1的基础之上一共有10个主要的改进点,本文是结合网上的众多博客文章,用自己习惯的方式做了一个简单地整理。前言:YOLO V1 问世已久,风头很快就被SSD盖过,原作者...原创 2019-04-02 11:04:59 · 2616 阅读 · 0 评论 -
【手写笔记】tensorflow的static_rnn和dynamic_rnn详解
前言:tensorflow对于RNN的实现提供了良好的封装,但是你真的了解它们的运算过程吗?本次分享的几张图片为自己的手写笔记,有不正确的还望大佬支指出,因为每次编辑文章还要画图实在是有点费事费力,就上传手写图片了。...原创 2019-03-28 15:26:10 · 852 阅读 · 0 评论 -
keras的图像预处理全攻略(二)—— ImageDataGenerator 类
上一篇文章已经详细介绍了keras进行图像预处理的一些常规操作,但是有一个问题就是上面的那些方法都是针对一张图片进行操作的,我们在深度学习的时候,当然也可以事先先一张一张将图片进行预处理,然后再将图片放入训练,但是这样做效率比较低下,而且不是实时的,即图像的预处理变成了完全的事先操作,和后面的训练毫无关系。那有没有效率更加高校一些,在训练的时候边训练边处理的实时操作方法呢?keras提供了...原创 2019-05-10 15:46:51 · 48557 阅读 · 5 评论