Deeplearning
文章平均质量分 62
麦兜ppig
由于个人太笨,评论的信息不知道怎么接收,再看时已经过去了大半年了/捂脸。文章内容可随意转载。
此博客的主要用途是用来以后自己梳理知识的,也是自己的个人见解,难免有不合理的地方,期待更加专业的你予以指导。
邮箱[email protected] 博客中出现的问题可以发邮件与我进行交流。
展开
-
谈谈深度学习中的 Batch_Size
Batch_Size(批尺寸)是机器学习中一个重要参数,涉及诸多矛盾,下面逐一展开。首先,为什么需要有 Batch_Size 这个参数?Batch 的选择,首先决定的是下降的方向。如果数据集比较小,完全可以采用全数据集 ( Full Batch Learning )的形式,这样做至少有 2 个好处:其一,由全数据集确定的方向能够更好地代表样本总体,从而更准确地朝向极值所在的方向。其转载 2017-06-06 14:57:53 · 625 阅读 · 0 评论 -
pva-faster-rcnn配置过程出现的问题(个人笔记)
环境:windows,GTX960,VS20131:解决办法:显卡爆了。如果还未解决,那就是显卡本身的问题了。改用Titax网上办法:http://www.cnblogs.com/mafang/p/5828330.htmlhttp://www.cnblogs.com/yymn/articles/5389904.htmlhttp://blog.csdn.net/u01原创 2017-01-17 14:50:17 · 1280 阅读 · 0 评论 -
caffe-windows下编译
1:官网下载caffe-windows版本https://github.com/BVLC/caffe/tree/windows2:重命名caffe-windows为caffe3:复制caffe/windows/CommonSettings.props.example到同级目录下的CommonSettings.props(新建),并修改内容,4:加入NugetPackag原创 2017-02-05 18:14:50 · 1735 阅读 · 0 评论 -
关于图像卷积与caffe中卷积实现
图像卷积及Caffe中的卷积实现 原创内容,转载请注明出处。 本文简单介绍了图像卷积相关的知识以及Caffe中的卷积实现方法,写作过程中参考了很多很赞的资料,有兴趣的读者可以从【参考资料】查看。 博文中的错误和不足之处还望各位读者指正。什么是卷积? 专业不是信工方面,也没学过信号与系统这门课。所以我也就不给出很专业的卷积定义和公式表达,引用一个例转载 2017-03-31 21:55:31 · 1168 阅读 · 0 评论 -
feature map计算方法与faster-rcnn中roi映射到feature map的位置计算方法
feature map计算方法:在CNN网络中roi从原图映射到feature map中的计算方法INPUT为32*32,filter的大小即kernel size为5*5,stride = 1,pading=0,卷积后得到的feature maps边长的计算公式是:output_h =(originalSize_h+padding*2-kernelSize_h)/stride原创 2017-03-13 09:45:31 · 8662 阅读 · 7 评论 -
Speed/accuracy trade-offs for modern convolutional object detectors
Speed/accuracytrade-offs for modern convolutional object detectors 1:Accurancy VS time从上图可以看出SSD,R-FCN在速度上要远远超过Faster R-CNN,但是在精度上Faster R-CNN领先,R-FCN紧随其后。但是Faster R-CNN可以通过设置region propos原创 2017-02-23 09:40:24 · 4516 阅读 · 0 评论 -
自制作数据上的pva faster rcnn 训练
一:数据集制作,参考我的上一篇文章http://blog.csdn.net/qq_29133371/article/details/54408165数据集制作完成后将这三个文件夹复制至一个文件夹(命名为VOC2007)当中,再移动至$pva-faster-rcnn/data/VOCdevkit2007中,替换原来的VOC2007二:训练阶段类别设置:(有几类设置几类,我的这原创 2017-02-14 17:05:35 · 1965 阅读 · 4 评论 -
制作VOC类型数据集,生成txt,生成lmdb
前言:数据样式参照PASCALVOC一:搜集图片,或者视频数据等,利用标注工具,形成图片信息以及注释信息。标注工具,自己编写的,可以拿去使用:二:通过xml文件以及图片信息形成ImageSets/Main/trainval.txt,test.txt,val.txt,trainval.txt文件地址:链接:http://pan.baidu.com/s/1cxNnrg 密码:j原创 2017-02-13 19:36:12 · 11280 阅读 · 3 评论 -
神经网络优化(初始化权重)
因为传统的初始化权重问题是用标准正态分布(均值为0,方差为1)随机初始化的,这其实是存在不合理的部分。标准正态分布:可以看出真实数据的分布其实是在靠近坡峰的部分,符合正态分布的。原创 2016-07-09 19:41:07 · 25161 阅读 · 3 评论 -
softmax函数
文章有错误地方,待纠正……原创 2016-07-09 18:45:53 · 439 阅读 · 0 评论 -
deformable convolutional networks
转自:点击打开链接上一篇我们介绍了:深度学习方法(十二):卷积神经网络结构变化——Spatial Transformer Networks,STN创造性地在CNN结构中装入了一个可学习的仿射变换,目的是增加CNN的旋转、平移、缩放、剪裁性。为什么要做这个很奇怪的结构呢?原因还是因为CNN不够鲁棒,比如把一张图片颠倒一下,可能就不认识了(这里mark一下,提高CNN的泛化能力,值得继续花很大转载 2017-06-13 15:05:24 · 1540 阅读 · 0 评论 -
Anaconda 安装tensorflow后安装warp-ctc
warp-ctc: https://github.com/baidu-research/warp-ctcAnaconda 安装tensorflow参照官网即可。环境:Ubuntu 14.04,tf 1.5, GPU1:找一个位置,clone warp-ctcgit clone https://github.com/baidu-research/warp-ctc.gitcd warp-ctc2:创...原创 2018-05-22 17:25:22 · 4822 阅读 · 11 评论 -
深度学习,机器学习部分基本概念
由于公式上传不上去,没办法。文档地址:http://download.csdn.net/download/qq_29133371/9998046,为什么现在没有0分值了?原创 2017-10-12 21:04:01 · 524 阅读 · 0 评论 -
深度学习 激活函数
由于公式上传不上去,没办法。文档地址:http://download.csdn.net/download/qq_29133371/9998064,为什么现在没有0分值了?原创 2017-10-12 20:45:17 · 402 阅读 · 0 评论 -
深度学习 loss
原创 2017-10-12 21:13:04 · 1940 阅读 · 0 评论 -
深度学习 检测模型对比
基于region proposal方法R-CNN是针对区域提取特征的目标检测模型检测流程:通过selective search的方式从图片中提取可能的目标的候选窗口,将窗口warp到同一个尺寸,通过卷积网络从warp之后的候选窗口提取特征,将特征送给分类器进行分类,最后再加上bounding box regression等操作得到更准确的目标位置。总结起来就是先训练SVM分类器,后进行原创 2017-10-12 20:40:49 · 5116 阅读 · 0 评论 -
深度学习 优化算法
不支持复制粘贴公式,很无奈。原创 2017-10-12 20:34:08 · 353 阅读 · 0 评论 -
yolo2
出处:https://zhuanlan.zhihu.com/p/25167153分析的比较细致,直接看原文,图不完整本文是对 YOLO9000: Better, Faster, Stronger (项目主页) 的翻译。加了个人理解和配图。内容参考了 YOLOv2 论文笔记 - Jesse_Mx 。水平有限,错误之处欢迎指正。1. 概述YOLO2主要有两个大方面的转载 2017-08-27 19:18:19 · 672 阅读 · 0 评论 -
神经网络优化(overfitting 解决办法)
1:增大训练集2:early-stoping(http://deeplearning.net/tutorial/gettingstarted.html#early-stopping)3:Regulization4:Droppot三:四:原创 2016-07-09 19:16:08 · 2422 阅读 · 0 评论 -
caffe-windows引入Nugetpackage
这个包就是你的位置包,打开看下即可,根据自己存放路径进行修改,我的如下:原创 2017-01-17 19:33:41 · 4833 阅读 · 3 评论 -
Beyond Skip Connections: Top-Down Modulation for Object Detection阅读笔记
Beyond Skip Connections: Top-Down Modulation for Object Detection 此图是整个文章的框架图。1:Top-Down Modulation (TDM) TDM模块由两部分组成,T模块与L模块(侧面模块),下面详细介绍下这个模块。 1.1 L模块(lateral module原创 2017-02-10 10:48:57 · 3357 阅读 · 0 评论 -
交叉熵损失函数
前言:在神经网络学习后都会计算损失函数,这里比较一下两种传统的损失函数的区别。(目前只知道两种)1:传统损失函数 Lcost(w,b) y=1/2(||y-z|2)原创 2016-07-09 18:14:12 · 844 阅读 · 0 评论 -
神经网络和深度学习简史(四):深度学习终迎伟大复兴
我们终于来到简史的最后一部分。这一部分,我们会来到故事的尾声并一睹神经网络如何在上世纪九十年代末摆脱颓势并找回自己,也会看到自此以后它获得的惊人先进成果。「试问机器学习领域的任何一人,是什么让神经网络研究进行下来,对方很可能提及这几个名字中的一个或全部: Geoffrey Hinton,加拿大同事Yoshua Bengio 以及脸书和纽约大学的Yann LeCun。」深度学习的密谋当你转载 2016-06-23 20:49:32 · 1839 阅读 · 0 评论 -
神经网络和深度学习简史(一)
这是《神经网络和深度学习简史》第一部分。这一部分,我们会介绍1958年感知机神经网络的诞生,70年代人工智能寒冬以及1986年BP算法让神经网络再度流行起来。序言:深度学习掀起海啸如今,深度学习浪潮拍打计算机语言的海岸已有好几年,但是,2015年似乎才是这场海啸全力冲击自然语言处理(NLP)会议的一年。——Dr. Christopher D. Manning, Dec 2015转载 2016-06-23 20:20:27 · 2496 阅读 · 0 评论 -
神经网络和深度学习简史(三):强化学习与递归神经网络
神经网络做决定神经网络运用于无监督学习的发现之旅结束后,让我们也快速了解一下它们如何被用于机器学习的第三个分支领域:强化学习。正规解释强化学习需要很多数学符号,不过,它也有一个很容易加以非正式描述的目标:学会做出好决定。给定一些理论代理(比如,一个小软件),让代理能够根据当前状态做出行动,每个采取行动会获得一些奖励,而且每个行动也意图最大化长期效用。因此,尽管监督学习确切告诉了学习算法它应转载 2016-06-23 20:31:59 · 2843 阅读 · 0 评论 -
深度学习和神经网络简史(二)
导读:这是《神经网络和深度学习简史》第二部分,这一部分我们会了解BP算法发展之后一些取得迅猛发展的研究,稍后我们会看到深度学习的关键性基础。神经网络获得视觉随着训练多层神经网络的谜题被揭开,这个话题再一次变得空前热门,罗森布拉特的崇高雄心似乎也将得以实现。直到1989年另一个关键发现被公布,现在仍广为教科书及各大讲座引用。多层前馈神经网络是普适模拟器( univer转载 2016-06-23 20:25:32 · 1011 阅读 · 0 评论 -
关于梯度消失,梯度爆炸的问题
随着神经网络层数的增加,会出现梯度消失或者梯度爆炸的问题,下面细说下问什么会出现: 起初的学习率固定。 下面来看几组通过增加隐藏层层数后的学习率变化图:原创 2016-07-09 20:31:35 · 38189 阅读 · 9 评论 -
生成模型与判别模型的区别
本文章属于转载,目前自己的水平还不能透彻的对它进行更详细的扩充,目的是为了以后自己学习方便,希望原博主不要介意,已表明出处,O(∩_∩)O原文在here一、决策函数Y=f(X)或者条件概率分布P(Y|X) 监督学习的任务就是从数据中学习一个模型(也叫分类器),应用这一模型,对给定的输入X预测相应的输出Y。这个模型的一般形式为决策函数Y=f(X)或者条件概率分布P(Y|X转载 2016-05-23 10:08:27 · 1898 阅读 · 0 评论 -
Deeplearning常用的模型以及方法
声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。2)根据看的论文以及博客总结了深度学习常用的方法和模型,便于以后自己回顾,记性太猪了,唉,快赐予我过目不忘的本领吧。3)文中部分参考了某些博主的内容,觉得没人家总结的好,会表明出处,还望博主海涵。4)如果有什么错误的地方希望大家一起讨论,自己还是个菜鸟,请多多指教。目录:一:原创 2016-05-27 16:26:54 · 9977 阅读 · 0 评论 -
ubuntu14.04+cuda-7.5(deb)+cuDNN+openCV+caffe 安装(安装笔记二)
前言:1:属个人笔记,用以这个爱遗忘的大脑,如果专家们哪里觉得我说的专业术语不对,原谅我读书少,我愿意虚心接受。O(∩_∩)O环境: Ubuntu 14.04,cuda-7.5,openCV(3.0)caffe一:CUDA安装:参照我上一篇博客:ubuntu+cuda-7.5(deb) 安装(安装笔记)二:openCV安装1 安装所需依赖使用apt-原创 2016-07-29 18:59:49 · 4604 阅读 · 0 评论 -
ubuntu14.04+cuda-7.5(deb)+cuDNN+openCV+caffe 安装(安装笔记一)
环境:系统 Ubuntu 14.04 NVIDIA GeForce GTX 960Ubuntu 安装:http://jingyan.baidu.com/article/6181c3e06e6003152ef15300.html搭建过程1:CUDA安装 1)系统要求这个表先不看,通过下面的命令后对照查看。a. 验证系统具有CUDA原创 2016-07-27 21:42:26 · 1332 阅读 · 0 评论 -
基于R-CNN的物体检测-CVPR 2014
基于R-CNN的物体检测原文地址:http://blog.csdn.net/hjimce/article/details/50187029一、相关理论 本篇博文主要讲解2014年CVPR上的经典paper:《Rich feature hierarchies for Accurate Object Detection and Segmentation》,这篇文章的算法转载 2016-08-17 14:10:05 · 2049 阅读 · 0 评论 -
VS2013添加自己下载的NugetPackages
官网下载好package包1:通过“Tools”(工具)|“Library Package Manager”(库程序包管理器)|“Package Manager Settings”(程序包管理器设置),接着设置如下2:项目--管理NuGet程序包,如下:这就是你刚添加的包原创 2017-01-17 18:59:28 · 8745 阅读 · 0 评论 -
数据增强方法
# -*- coding:utf-8 -*-"""数据增强 1. 翻转变换 flip 2. 随机修剪 random crop 3. 色彩抖动 color jittering 4. 平移变换 shift 5. 尺度变换 scale 6. 对比度变换 contrast 7. 噪声扰动 noise 8. 旋转变换/反射变换 Rotation/reflec翻译 2017-02-08 15:18:13 · 11863 阅读 · 7 评论 -
GetPacalData标定工具配置过程中产生的问题(个人笔记)
环境:windows VS2013release模式,win32前提:1:生成LibObjDet项目时,一堆opencv找不到的问题。解决办法:1)项目-属性-VC++--常规--包含目录添加:找到你自己安装的opencv的include目录如:2)项目-属性-VC++--常规--库目录添加:找到你自己安装的opencv的lib目录,注意版本问题(x原创 2017-01-17 14:31:09 · 464 阅读 · 0 评论 -
L0,L1,L2正则化浅析
机器学习中的范数规则化之(一)L0、L1与L2范数[email protected]://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大,为了不吓到大家,我将这个五个部分分成两篇博文。转载 2017-02-06 16:39:42 · 4556 阅读 · 2 评论 -
caffe_pvanet,cuda7.5,VS2013
1.配置环境环境为:Windows 7 64位 + cuda6.5 + Opencv2.49 + VS2013。假设在配置caffe之前,你已经准备好这些。本文中将给出一些编译好的依赖库,如果你也是用的Windows 7 64位+VS2013,可以直接使用。2.准备依赖库在Windows下配置caffe,一个很主要的问题就是依赖库的编译。不像在Ubuntu下那么方便,在Window原创 2016-12-30 17:26:40 · 1623 阅读 · 0 评论 -
深度学习常用链接
UFLDL教程:http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B神经网络中的激活函数:http://blog.csdn.net/losteng/article/details/50833861FASTER-RCNN相关:Bounding box regression详解:http://原创 2016-11-16 13:17:06 · 482 阅读 · 0 评论 -
深度学习学习指南
什么是深度学习?总的来说,深度学习包括建立和训练一个大型的人工神经网络,该神经网络在输入和输出之间具有许多隐藏层。正是因为这些隐藏层,我们才称呼这些神经网络为"深度"。至少具有三层隐藏层才能叫深度神经网络,但现有的一些神经网络已具有上百层。 神经网络是一个复杂的统计模型,它通过计算机来对信息进行一个非常准确的抽象表示。你可能会问,什么样的信息?就像Deepgram的深度神经翻译 2016-10-14 16:18:16 · 1826 阅读 · 0 评论 -
R-CNN,SSP-Net,fast-RCNN,faster-RCNN论文读后笔记
R指的是region,也就是在数据进入深度网络(CNNs)之前进行预处理,在预训练图像中生成若干个regionproposals,再将这些regionproposals进行resize,因为CNN网络要求输入数据维度相同。训练过程:①supervised pre-training,使用传统的CNN来训练大规模数据集ImageNet,获得初始化权重。所谓的有监督预训练,我们也可以把它原创 2016-08-18 15:40:28 · 5376 阅读 · 0 评论