深度学习
文章平均质量分 94
丶Minskyli
国科大计算机硕士,方向机器学习,图像视觉,深度学习。
展开
-
深度学习之AlexNet解读
为什么提出提出的背景基本思想及其过程优缺点及其发展为什么提出?提出的背景目前的目标识别任务基本上全是利用的传统机器学习的方法,为了提升他们的性能。由于现实中有成千上万的可变的图片,现在带标签的数据集相对来说还是太小了,因此简单的识别任务由于这些数据集的尺寸有限,还是获得了不错的效果。因此为了识别现实生活中的大量可变的图片,使用一个非常大的训练集显得尤为重要,包括LabelMe(包含成千上原创 2017-04-30 17:00:33 · 13270 阅读 · 2 评论 -
Tensorflow学习之卷积神经网络实现(四)
本次主要实现的是VGGNet,这个网络所有的卷积核大小都为3x3,最大池化层都用的2x2的大小,正是由于VGGNet的探索,发现小型的卷积核在效果比5x5,7x7等大卷积核效率(两个3x3的卷积层串联相当于一个5x5的卷积层,即一个像素会跟周围5x5的像素产生关联,但3x3的参数量更少,3x3x2<5x5,并且拥有更多的非线性变换,使得CNN对特征的学习能力更强)差不多的情况下,更有助于网络深度的提原创 2017-09-01 14:44:40 · 687 阅读 · 1 评论 -
深度学习之GoogLeNet-v2解读
为什么提出提出的背景基本思想及其过程Batch Normalization的优点减少内部协变量的偏移问题通过Mini-Batch统计量归一化利用批处理网络进行训练和推理批处理卷积网络BN允许高学习率BN能正则化模型inception v2为什么提出?—由于网络结构中每层的参数都会变化,训练每层的输入使得深度神经网络的训练变得非常复杂,在要求低学习率以及比较好的参数初始化情况下,要原创 2017-09-11 09:39:10 · 4373 阅读 · 3 评论 -
Tensorflow学习之实现卷积神经网络(五)
本次学习的卷积神经网络结构为GoogLenet,其中最显著的改进就是提出了inception结构,而inception结构也随着对网络模型的进一步深入研究,共提出了四个版本。其中Inception V1最大的特点就是控制了计算量和参数量的同时,获得了非常好的分类性能,其降低参数量的目的有两点:第一,参数越多说明模型越庞大,需要供模型学习的数据量就越大;第二,参数越多,耗费的计算资源也会更大。Ince原创 2017-09-11 21:11:42 · 985 阅读 · 0 评论 -
Tensorflow学习之入门学习总结(持续更新......)
三种利用会话Session的方法使用withDevice语句明确指定哪个cpu或gpu被调用变量variables和placeholder怎么区分tensorflow网络运行流程图数据输入数据增强的方法定义网络结构paddingSAME和VALID的区别定义损失函数和优化算法评估模型三种利用会话Session()的方法:(1) sess=tf.Session()result =原创 2017-09-13 15:00:41 · 634 阅读 · 1 评论 -
深度学习之GoogLeNet-v3解读
为什么提出提出的背景基本思想及其过程通用设计原则利用扩大滤波器尺寸来分解卷积辅助分类器的实用性网格尺寸减少很有效InceptionV3标签平滑的模型正则化训练方法低分辨率输入上的表现为什么提出?—针对计算效率和低的参数量的标准,为了进一步的优化googlenet,将卷积核分解。。提出的背景由于之前都关注的是网络的准确率,但是要真正运用深度学习,更应该关注如何能运用他,也就是要效原创 2017-09-22 21:17:08 · 3029 阅读 · 0 评论 -
最新!Win10+Tensorflow-gpu+Anaconda+Pycharm
电脑配置: Windows10 显卡:GTX1060(笔记本)大致流程:安装cuda->Cudn->Aanacond->Tensorflow 切记!!版本很重要安装CUDA安装CUDA8.0!!!很多博客都推荐去官网下,但是这几天nvidia官网下载的网页出错在维护,不得已我就去百度云找资源找到了cuda_8.0.61_win10.exe。记住版本!!!官网下载选择LOCAL!!! 然后按推原创 2017-10-12 11:32:08 · 5490 阅读 · 3 评论 -
深度学习目标检测之R-CNN
为什么提出提出的背景基本思想及其过程利用R-CNN进行目标检测模块设计时间测试检测训练可视化,消融和错误模型网络结构检测错误分析区域提取子训练数据验证集与评估消融研究与Overfeat的关系语义分割CNN特征用于分割结论为什么提出R-CNN文章名字为”Rich feature hierarchies for accurate o...原创 2018-03-01 16:19:55 · 2849 阅读 · 0 评论 -
Ubuntu16.04+1080ti+cuda8.0+cudnn6.0+Anaconda3+opencv3+pytorch+tensorflow-gpu+pycharm配置
总体流程安装Ubuntu16.04及显卡驱动禁用nouveau驱动禁用Secure Boot安装Anaconda3、CUDA8.0、cudnn6.0、opencv3安装anaconda3安装CUDA8.0安装cudnn6.0安装pytorch,安装tensorflow,安装opencv,配置pycharm安装pytorch安装tensorflow-gpu安装op...原创 2018-04-16 17:04:46 · 2242 阅读 · 0 评论 -
深度学习之CNN反向传播
互相关卷积反向传播卷积层池化层 大多数人了解推导的都是全连接层的反向传播公式,全连接层的每一层都可以看作是一个一维向量,其中的元素即代表权重,而CNN中的卷积操作以及池化操作的反向传播,你又了解多少呢?虽然二者思想一致,却又有着诸多不同之处,理解CNN的反向传播之前,先了解下互相关以及卷积的概念。互相关 &nbs...原创 2018-04-12 17:15:14 · 3565 阅读 · 0 评论 -
深度学习模型压缩之MobileNetV2
摘要1 引言2 相关工作3 预备知识、讨论、直觉3.1 深度可分离卷积3.2 线性瓶颈(Linear Bottlenecks)3.3 反向残差(Inverted residuals)3.4 信息流解释4 模型结构5 执行记录5.1 内存有效管理6 实验6.1 ImageNet分类6.2 目标检测6.3 语义分割6.4 模型简化测试(Ablation s...翻译 2018-06-02 18:56:43 · 6449 阅读 · 6 评论 -
深度学习之MobileNetV1
深度学习模型压缩之MobileNetv1 [TOC]摘要 我们针对移动端以及嵌入式视觉的应用提出了一类有效的模型叫MobileNets。MobileNets基于一种流线型结构使用深度可分离卷积来构造轻型权重深度神经网络。我们介绍两个能够有效权衡延迟和准确率的简单的全局超参数。这些超参数允许模型构造器能够根据特定问题选择合适大小的模型。我们在资源和准确率的权衡方面做了大量的实验并...翻译 2018-05-30 12:13:18 · 31986 阅读 · 1 评论 -
深度学习之DeepCTR
展示广告中的深度CTR预估摘要1 介绍2 相关工作2.1 展示广告CTR预估2.2 深度神经网络3 方法概述4 网络结构5 加速训练5.1 稀疏全连接层5.2 数据采样6 实验6.1 实验设置6.1.1 数据集6.1.2 原型6.1.3 评价指标6.1.4 网络配置6.2 结果分析与讨论6.3 可视化Convnet7 结论...翻译 2018-08-28 22:35:48 · 7954 阅读 · 0 评论 -
展示广告中冷启动问题的图像特征学习
展示广告中冷启动问题的图像特征学习摘要1 引言2 相关工作3 点击预估问题公式化4 特征学习结构4.1 任务分析与结构设计4.2 视觉元素位置建模4.3 在一个机器上处理大型数据集4.4 减少过拟合4.5 训练细节4.6 效率和性能的权衡5 实验5.1 实验设置5.2 只比较图像特征5.3 结合基础特征和图像特征5.4 判别图像特征:广告种类5.5 ...翻译 2018-09-04 15:39:43 · 2487 阅读 · 3 评论 -
深度学习之Pix2PixHD
基于条件生成对抗网络的高分辨率图像合成及语义处理摘要1 引言2 相关工作3 实例级图像合成3.1 pix2pix Baseline3.2 提升照片逼真度和分辨率3.3 使用实例图Instance Maps3.4 学习一个实例级特征嵌入embedding4 结果4.1 质量比较4.2 人类感知研究4.3 交互式对象编辑5 讨论和结论论文...翻译 2018-09-12 10:19:29 · 28488 阅读 · 6 评论 -
深度学习之PlaneNet
目录为什么提出解决什么问题现有文献相关工作基本思想及其过程PlaneNet平面参数分支平面分割分支非平面深度分支实验及测试数据集实现细节实验结果平面分割准确率论文名称:PlaneNet:Piece-wise Planar Reconstruction from a Single RGB Image为什么提出利用单张RGB图像得到分段重建平面深度图。分段平面几何理解对于比如机器人或者增强现实A...原创 2018-10-29 21:39:34 · 3858 阅读 · 2 评论 -
Tensorflow学习之卷积神经网络实现(六)
本次主要在Tensorflow中实现ResNetV2,通常认为神经网络的深度对其性能非常重要,但是网络越深其训练那度越大,于Resnet相似的Highway Network的目标就是解决极深的神经网络难以训练的问题。修改了每一层的激活函数,此前的激活函数只是对输入做一个非线性变换y=H(x,Wh),而Highway Network则允许保留一定比例的原始输入x,即y=H(x,Wh)T(x,Wt)+x原创 2017-09-18 16:44:27 · 731 阅读 · 0 评论 -
Tensorflow学习之实现卷积神经网络(二)
本次使用cifar10数据集,这是一个经典的数据集,包含60000张32x32的彩色图像,其中训练集50000张,测试集10000张,标注为10类,每一类图片6000张,10类分别为airplane、automobile、bird、cat、deer、dog、frog、horse、ship和truck。 下面利用一个5层的神经网络,其中两层卷积层,三层全连接层来训练测试这个数据集。 from原创 2017-08-21 20:00:12 · 445 阅读 · 0 评论 -
Mac下安装caffe深度学习框架
经过两天的尝试与失败,终于成功在mac上成功编译caffe,总结过程可以分为依赖包的安装,以及caffe的编译过程,其中依赖包的安装过程中又涉及很多工具包,路径设置问题(大多数人的错误来自于此),所以当发现错误时,首先可以先看是否路径设置错误,在看是不是依赖包没安装完全,版本是否匹配,然后caffe编译的过程的错误大多来自Makefile.config的配置问题。成功编译,参考了两篇博客博客一,博客原创 2017-03-14 19:28:16 · 4820 阅读 · 0 评论 -
深度学习之可视化ZFNet-解卷积
为什么提出提出的背景基本的思想及其过程为什么提出提出的背景 由于AlexNet的提出,大型卷积网络开始变得流行起来,但是人们对于网络究竟为什么能表现的这么好,以及怎么样能变得更好尚不清楚,因此为了针对上述两个问题,提出了一个新颖的可视化技术来一窥中间特征层的功能以及分类的操作。基本的思想及其过程 可视化技术揭露了激发模型中每层单独的特征图,也原创 2017-05-02 21:41:26 · 18087 阅读 · 0 评论 -
深度学习之Caffe框架
特点模块化表达和实现分离测试覆盖绑定Python和MATLAB预先训练的参考模型结构数据存储层级结构运行模式训练网络 caffe提供多媒体科学家和从业者一个干净可修改的框架,框架提供最新的深度学习算法和一个参考模型的集合。 框架是一个BSD许可C++库且绑定Python以及MATLAB来进行训练,部署在通用目的卷积神经网络和其他有效的深度模型上。 Caffe适合工业和互原创 2017-05-12 12:47:41 · 2332 阅读 · 1 评论 -
深度学习之解读VGGNet
为什么提出提出的背景基本思想及其过程为什么提出提出的背景 提出目的即为了探究在大规模图像识别任务中,卷积网络深度对模型精确度有何影响。 这个网络的结构用的都是特别小的3x3的卷积模版(stride:1,padding:1),以及5个2x2的池化层(stride:2),将卷积层的深度提升到了16-19层,并在当年ImageNet挑战中再定位和分类问题上取得地第一第二的好成绩。基本思想及其过程原创 2017-05-04 15:15:07 · 37187 阅读 · 8 评论 -
深度学习之GoogleNet and ResNet
GoogleNet最近上讨论课,看了Googlenet和Resnet两篇论文,知道大概的神经网络框架,都是在Alexnet(论文:ImageNet Classification with Deep Convolutional Neural Networks)的基础上来进行修改,层数的增加,使得过拟合的问题更加严重,所以Googlenet想到通过计算稀疏结构来一定量减少过拟合的问题,即图1。其中1*1原创 2017-03-13 10:43:53 · 6596 阅读 · 6 评论 -
深度学习之GoogLeNet解读
提出背景相关工作基本思想及过程提出背景 始于LeNet-5,一个有着标准的堆叠式卷积层冰带有一个或多个全连接层的结构的卷积神经网络。通常使用dropout来针对过拟合问题。 为了提出一个更深的网络,GoogLeNet做到了22层,利用inception结构,这个结构很好地利用了网络中的计算资源,并且在不增加计算负载的情况下,增加网络的宽度和深度。同时,为了优化网络质量,采用了Hebbian原原创 2017-05-16 00:29:24 · 38864 阅读 · 14 评论 -
深度学习之生成对抗网络GAN
以下内容将分为如下几个部分:原创 2017-04-26 13:19:09 · 9158 阅读 · 4 评论 -
深度学习之CNN结构解析
LENET5DAN CIRESAN NETALEXNETOVERFEATVGGNETNETWORK-IN-NETWORKGOOGLENETBOTTLENECK LAYERINCEPTION V3AND V2RESNETINCEPTION V4SQUEEZENETENETAN ANALYSIS OF MODULESXCEPTIONFRACTALNETLENET5 在199原创 2017-05-31 17:27:15 · 8882 阅读 · 0 评论 -
深度学习之MAC(cpu-only)下利用anaconda安装caffe
转载自http://blog.csdn.net/ddreaming/article/details/52739893如何在Mac下安装caffe在安装caffe之前,应该了解些计算机的基本知识,以及Linux的基本知识,这是因为Linux和Mac的操作系统非常像。比如什么是Linux,它是怎么来的?Linux和GNU啥关系?gcc又是啥。。Linux的目录配置是咋回事,也就是下图中每个文件都存啥知道转载 2017-07-02 12:11:41 · 4176 阅读 · 0 评论 -
Tensorflow学习之TensorBoard
TensorBoard是Tensorflow的一个可视化工具,可以看见整个网络结构,以及将模型训练过程中的各种汇总数据展示出来,包括标量、图片、音频、计算图、数据分布、直方图和嵌入向量。 下面利用Mnist数据在MLP多层神经网络上训练得到的日志文件logs转入TensorBoard中进行数据可视化。import tensorflow as tffrom tensorflow.examples.原创 2017-08-21 11:27:39 · 2670 阅读 · 0 评论 -
Tensorflow学习之实现卷积神经网络(一)
Opencv学习之图像金字塔与图片尺寸缩放 图像金字塔事图像中多尺度表达的一种,最主要用于图像的分割,是一种以多分辨率来解释图像的有效但概念简单的结果。一幅图像的金字塔事一系列以金字塔形状排列的,分辨率逐步降低且来源于同一张原始图的图像集合,其通过梯次向下采样获得,直到达到某个终止条件才停止采样。底部是待处理图像的高分辨率表示,而顶部是低分辨率的近似。 *高斯金字塔(Gaussi原创 2017-08-03 13:37:29 · 1086 阅读 · 1 评论 -
Tensorflow学习之实现多层感知机
深度学习之Tensorflow实现多层感知机 为了拟合复杂函数需要的隐含节点的数目,基本上随着隐含层的数量增多呈指数下降趋势,也就是说层数越多,神经网络所需要的隐含节点可以越少。 常常为了解决过拟合,可以利用Dropout的方法,即在训练时,将神经网络某一层的输出节点数据随机丢弃一部分。这种做法实质上等于创造出了很多新的随机样本,通过增大样本量、减少特征数量来防止过拟合。原创 2017-07-27 00:46:59 · 1262 阅读 · 0 评论 -
Tensorflow学习之实现自编码器
深度学习之Tensorflow实现自编码器 当拥有很多的标注数据时,可以训练一个深层的神经网络。但是没有标注的数据时,依然可以利用无监督的自编码器来提取特征。自编码器(AutoEncoder),顾名思义,即可以使用自身的高阶特征编码自己。自编码器其实也是一种神经网络,它的输入和输出是一致的,它借助稀疏编码的思想,目标是使用稀疏的一些高阶特征重新组合来重构自己。因此,它的特点非常明显:第一,原创 2017-07-26 18:14:58 · 2751 阅读 · 0 评论 -
Tensorflow资源之经典网络实现
本系列文章由 @yhl_leo 出品,转载请注明出处。 文章链接: http://blog.csdn.net/yhl_leo/article/details/57412234 本文简单整理了网上公布的基于 TensorFlow 实现图像语义分析的一些经典网络,方便大家参考学习。1. TensorFlow-SlimTF-Slim 是 tensorflow 较新版本的扩充包,可以简化繁杂的网络定义转载 2017-08-25 10:47:32 · 385 阅读 · 1 评论 -
Google深度学习目标检测API模型比较
谷歌最新推出了一个目标检测API,其中利用经典的目标检测模型Faster-rcnn,SSD以及RFCN,并且选用了不同的CNN如resnet101,resnet-v2,mobilenet以及inceptionv2,训练了5个目标检测的模型。github地址如下。 Google目标检测API 为了在自己的项目中应用目标检测,实时性以及准确性的要求比较高,虽然官方给出了一个比较的列表如下: 但是原创 2017-08-29 14:28:43 · 3324 阅读 · 0 评论 -
Tensorflow学习之实现卷积神经网络(三)
本次使用ImageNet数据集,ImageNet拥有1500万张标注过的高清图片,总共拥有22000类,其中约100万张标注了图片中主要物体的定位边框。每年度的ILSVRC比赛数据集中大概拥有120万张图片以及1000类的标注,是ImageNet全部数据的一个子集。比赛一般采用top-5和top-1分类错误率作为模型性能的评测指标。这次深度卷积网络为模型选择ALexNet,具体网络情况可以参考之原创 2017-08-06 01:23:56 · 818 阅读 · 0 评论 -
文本图像跨媒体检索进展
...转载 2019-08-06 14:27:46 · 1283 阅读 · 0 评论