2017年08月_williamyi96

转载 Faster R-CNN基于代码实现的细节

Faster RCNN github : https://github.com/rbgirshick/py-faster-rcnnFaster RCNN paper : https://arxiv.org/abs/1506.01497Bound box regression详解 : http://download.csdn.NET/download/zy1034092330/9

2017-08-28 14:06:27 15778 16

原创基于源码的Faster R-CNN训练总体流程梳理

之前的文章中对于Faster R-CNN的总体流程进行了梳理，详情参见这里。本篇文章将要以源码中的结构为基础，对于训练的整体流程进行梳理，以便后续源码的阅读。首先我们要明确的是，实际的Faster R-CNN中训练分为6个步骤:第一次训练RPN网络，对应源码中的stage1_rpn_train.pt利用步骤1训练好的RPN网络，收集proposals，对应rpn_test.pt第一次

2017-08-27 22:53:18 709

YOLO是第一个经典的非基于Region Proposal的目标检测的模型，其在保证效果不是很差的基础之上，基于回归的思想，达到了超高的实时性。虽然由于某些原因个人不是特别青睐YOLO，但是发现基于YOLO的改进版的模型取得了很好的效果，如其在SqueezeDet中的使用，因此打算以此为契机研究以下该模型。总体结构分析话不多说，直接上总体流程图：YOLO没有类似于Object Proposal的过程

2017-08-27 16:00:31 945

原创 SqueezeNet模型详解

关于SqueezeNet为何能够在达到AlexNet精度的基础之上还能够使模型的参数减小巨多的分析详情，参见SqueezeNet这篇文章，本文章的目的是在实际应用中如何引入SqueezeNet。设计基本原则1.使用更小的1*1卷积核来替换3*3卷积核采取了之后例如GoogleNet，ResNet设计中的3*3卷积来代替ALexNet的7*7卷积，然后用了1*1来部分替代上述的3*3卷积。但是由于为了

2017-08-26 17:49:10 7607

转载 L0、L1与L2范数

L0、L1与L2范数zouxy09@qq.comhttp://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存

2017-08-26 16:02:21 516

转载梯度下降优化算法综述

From: http://ruder.io/optimizing-gradient-descent/An overview of gradient descent optimization algorithmsNote: If you are looking for a review paper, this blog post is also available as an

2017-08-26 14:56:42 1183

转载 Batch Normalization

原文出处: http://blog.csdn.net/malefactor/article/details/51476961Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。目前几乎已经成为DL的标配了，任何有志于学习DL的同学们朋友们雷迪斯俺的詹特曼们都应该好好学一学BN。BN倒过来看就是NB，因为这个技术确实很NB，虽然有

2017-08-26 14:51:12 230

原创神经网络中非线性激活函数相关解析

引入非线性激活函数的作用引入非线性激活函数的主要目的是增加神经网络的非线性性。因为如果没有非线性激活函数的话，每一层输出都是上层输入的线性函数，因此，无论神经网络有多少层，得到的输出都是线性函数，这就是原始的感知机模型，这种线性性不利于发挥神经网络的优势。非线性激活函数的类别非线性函数在历史的长河中有多种，主要讲以下两类:有界激活函数有界激活函数用得相对较多的是sigmoid函数和tanh(双曲正切

2017-08-25 01:12:59 5322

原创反卷积网络概念及其于目标检测中的应用

反卷积网络概念及其于目标检测中的应用

2017-08-25 00:27:26 497

原创 ReLU函数进行Batch Normalization意义分析

我们都知道，正则化是一种防止训练参数过拟合的一种极为有效的方式。激活函数的主要作用是提升圣经网络的非线性性。之前常用的激活函数，如Sigmoid, tanh函数，由于其饱和区的接近于0，因此需要将其进行正则化，转换为正态分布，将数据大部分规范到线性范围之内，然后通过两个额外的线性转换参数来进行微调，从而避免后续梯度消失问题的产生。那么就有一个问题了，ReLU这一函数并没有上界，也就是其导数不存在趋近

2017-08-25 00:27:00 8185 5

原创浅谈Dropout

在全连接网络部分，Dropout这一超参得到了较为广泛的应用，同时取得了不错的效果。下面就来简单地谈谈Dropout。什么是Dropout我们知道，典型的神经网络其训练流程是将输入通过网络进行正向传导，然后将误差进行反向传播。Dropout就是针对这一过程之中，随机地删除隐藏层的部分单元，进行上述过程。综合而言，上述过程可以分步骤为：随机删除网络中的一些隐藏神经元，保持输入输出神经元不变；将输入

2017-08-25 00:24:53 13641 2

原创 SSD

参考资料： http://www.cs.unc.edu/~wliu/papers/ssd_eccv2016_slide.pdf

2017-08-25 00:24:22 242

原创 VGG16中3个33卷积核对AlexNet中77卷积核的替代性分析

使用更小的卷积核是当前在保证网络精度的情况下，减少参数的趋势之一，在VGG16中，使用了3个3*3卷积核来代替7*7卷积核，使用了2个3*3卷积核来代替7*7卷积核，这样做的主要目的是在保证具有相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果。以下简单地说明一下小卷积(3*3)对于5×5网络感知野相同的替代性。如图所示：关于3个3×3卷积核对于7× 7 卷积的替代性思考方式同上

2017-08-24 16:14:18 12894 4

原创浅谈神经网络反向传播的梯度丢失问题

在神经网络的训练过程中，由于神经网络初始参数的随机初始化一般是正态分布函数的初始化，因此往往初始化权值小于1，导致了如果随着网络深度的提升，如果使用sigmoid函数，则累积的结果是梯度值的指数级减小，从而导致梯度趋近于0，使其难以有效地被训练。后续会对当前针对网络层数加深，解决梯度丢失问题的多种方法进行归纳。参考资料：深度神经网络中的梯度丢失和梯度爆炸

2017-08-24 16:03:15 570

原创 1*1卷积核作用分析

1*1卷积核，这种小巧的卷积核从GoogLeNet，ResNet之后得到了广泛的使用，其在理论上和时间上都被证明了针对特定的问题可以一定程度地提升神经网络的效率。关于1*1卷积核的作用，总体而言主要有如下两个方面的内容：进行升维与降维并减少网络参数。关于其降维并减少网络参数的特点在GooLeNet中表现得一览无遗，详情可以参见GooLeNet，关于其升维并减少网络参数的功能在ResNet中使用得非

2017-08-24 16:01:59 2217

原创 pooling 与 unpooling 深度解析

pooling 和 unpooling这两种具体实现方式对应到神经网络的技术上就是downsampling和unsampling。两者在神经网络的系列方法中都使用较多，下面将从总体上分析两者的作用。下采样(downsampling)下采样是神经网络设计的必要方法，其主要作用是浓缩图像，减少运算量；另外一方面是扩大特征像素点对应的感知野，忽略掉一些细微的噪声信息，取得更好的检测等任务的效果。上采样(u

2017-08-24 15:59:46 3756 1

原创 Global Average Pooling对全连接层的可替代性分析

在NIN(Network in Network) 这篇论文中有很多的思想让人受益匪浅，其中之一就是全局平均池化(Global Average Pooling) 对于全连接层的替代性分析。刚开始由于觉得之后的研究不需要NIN，因此就没去看论文，看了一下其他人的博客，发现关于其原因讲得并不清楚，只说是那么用的。后来实在是受不了了，看了看论文，而且找到了一个较好的讲解，现在算是完全弄懂了。首先我们来看一下

2017-08-24 15:54:22 25396

原创 Bounding-box Regression深度解析

在R-CNN以及之后的系列文章中，都有Bounding-box Regression的使用，甚至到了MV3D等等的3D Bounding-box Regression, 其思想都是来源于最基础的Bb Regression的。我将从以下几个角度主要结合自己的理解来谈一谈Bounding-box Regression. 首先，讲一下bounding-box regression使用的动机及其解决的问题，

2017-08-24 15:51:17 6057

原创机器学习算法性能评价方式

机器学习(包括信息检索，目标检测等)有一套专门的评价算法性能的方式。由于其来源于信息检索，以下将其独立进行分析。Precision(准确率)准确率是正确检索到的信息与实际被检索到的信息之商。Accuracy(精确率)精确率是分类器正确分类的样本数与总样本数之商。Recall(召回率)召回率是被正确检索为相关信息与应该被检索到的信息之商。Fall-out(失误率)检索的所有信息中不相关信息与所有不相关

2017-08-24 15:44:05 404

原创 CNN--based Network Architectures

主要参考资料为： cs231n–Lecture9: CNN Architectures

2017-08-20 16:18:15 288

原创 KNN(K近邻算法)

KNN(K-Nearest Neighbors)也就是常说的k最紧邻算法，顾名思义也就是找出某个点最靠近的k个点，由于其对于小数据集的处理能力较强，在神经网络火起来之前被广泛地使用。接下来讲主要以图像分类领域为基础进行knn的介绍。但是由于本博客目的是方便后续留做复习使用，因此不打算从最基础的部分讲解起来，不过关于其最基础的内容，文末会有相关链接。图像分类，顾名思义，就是将一幅图像赋予一个标签，同时

2017-08-19 22:16:02 407

转载 FCN

转载自: http://blog.csdn.net/taigw/article/details/51401448在上述原文的基础上结合自己理解做出了部分修改。从图像分类到图像分割卷积神经网络（CNN）自2012年以来，在图像分类和图像检测等方面取得了巨大的成就和广泛的应用。CNN的强大之处在于它的多层结构能自动学习特征，并且可以学习到多个层次的特征：较浅的卷积层感知域较小，学习到一

2017-08-19 19:35:16 19936

原创 CS231N(1)-- 简介

CS231N是一门讲解卷积神经网络及其相关知识的经典课程，从今天开始将进行卷积神经网路的重温以及系统化地学习。首先是简介部分的相关内容，主要讲解的是机器视觉的相关历史以及课程的相关情况。以下总结内容(以及以后的总结内容)将以个人的感受为主，希望对相关问题能够进行系统化地梳理。一个小插曲，当我注册的时候一个问题相当地有趣：以下仅仅以几个较为突出的算法来进行分析。Image SegmentationIm

2017-08-19 16:49:04 1400

原创 Faster R-CNN(~ RPN + Fast R-CNN)

Faster R-CNN是一个真正意义上的端对端的目标检测模型，总体实现方式继承自RCNN， Fast RCNN, 而最大的改进是废除了上述两者的Selective Search 算法，同时也是其实现端对端的保证。论文中说，如果简单地在CNN前面加上一个专门提取proposal的网络显得不够优雅，所以最终把region proposal 提取和 Fast R-CNN部分融合进了一个网络模型，也就是区

2017-08-18 22:48:49 3906

原创 Fast RCNN

基本介绍Fast RCNN应该是启发于ROI以及RCNN对SPP-Net以及R-CNN的优化。其主要的贡献点主要有两个方面，一方面是实现了大部分的端对端训练(提取proposal 阶段除外), 其将所有的特征都暂存在显存中，不需要额外的空间(将SVM分类和bounding box回归都整合到了CNN阶段进行训练)；另外一方面提出了一个RoI层，实际上该层应该是SPP的变种，区别是SPP中是pooli

2017-08-18 20:33:16 510

原创 CNN

下面粗浅地讲一讲CNN，这一深度学习网络架构的基石之一。之前查看了很多中英文的讲解CNN的博客资料，发现基本上入门的话都是借助了大量的图形去说明，由于这篇博客不是针对初学者的，主要是给自己一个回顾的作用，因此该博客主要是基于本人自身的理解认知来进行的整体归纳。卷积神经网络相对于全连接网络最大的特点是具有local receptive fields, shared weights, pooling.

2017-08-18 18:28:53 634

原创 ROI中feature map特征映射到perceptive fields难点解析

RCNN首次将CNN这一目标分类的王牌使用到了目标检测之中(虽然使用的过程中仍然将CNN当成是一个分类器)，初代的R-CNN精度并不高，因此后续出现了诸如SPPNet， Fast R-CNN, Faster R-CNN等的一系列改进，最终实现了端对端的学习，同时带来了速度和精度上的提升。SPP-Net和Fast R-CNN本质上解决问题的思路都是一样的，也就是如何将候选框只用进行一次卷积得到feat

2017-08-18 18:11:15 5654

原创 RCNN

基本情况RBG大神的RCNN(Rich feature hierarchies for accurate object detection and semantic segmentation)是当之无愧的将CNN引入到目标检测的开山之作，其后续的Fast R-CNN, Faster R-CNN更是将CNN以及提出的RPN用到了高潮。之前拜读过大神的文章，但是有些理解不够深刻，今天斗胆进行归纳一二。首

2017-08-18 11:45:19 2614

原创 TX2(2)--Jetson TX2 Caffe安装与文件配置

实验室相关规定，这是本人关于技术类文章发表的最后一篇公开博客了，再会！Caffe在TX2下的安装方式与在一般的x86架构的电脑相同，唯一不同的是使用的文件全部都是arm64架构的。此外Caffe在当前使用JetPack3.1得到的是opencv2.4的版本，因此要注意依赖包的相关情况。安装步骤如下：安装一些必要的依赖项sudo apt-get install libprotobuf-dev libl

2017-08-17 11:17:56 3643

原创 Problems Solving--Q&&A(Period One)

UbuntuUnable to correct problems, you have held broken packages.在使用ubuntu apt-get时可能会遇此问题，此问题的最好解决方式是将apt-get改为aptitude. 例如sudo apt-get install YourPackage转换为 sudo aptitude install YourPackage。aptitude

2017-08-15 17:06:17 778

原创 TensorRT(1)--8-bit Inference

TensorRT Build PhaseTensorRT需要三个文件去部署神经网络，其分别为：网络结构文件(deploy.prototxt)训练好的网络权值(net.caffemodel)每一个输出类别对应的标签文件8-bit Inference with TensorRT基本介绍在其他条件相同的情况下，使用8-bit的数据格式来进行网络权值以及激活值的表示，随着batch_size的不同，

2017-08-14 15:56:07 9280 3

原创 DQN

I will try all out to discuss the DQN algorithm in this article.Basic IntroductionWe have witnessed the power of deep learning about solving high-computation problems and the strengh of reinforcement l

2017-08-14 09:24:08 2557

原创 TX2(1)--Jetson TX2 刷机并安装JetPack3.0

一般而言，刷机是在Ubuntu16.04的系统上进行，本人在ubuntu16.04系统上进行了初步的测试，暂时存在一些问题，因此建议首先配备一台Ubuntu14.04的host主机(不建议使用虚拟机)。由于TX2有两种开发板，至于NVIDIA最官方的开发板有相关的教程，因此不再此处赘述，详情参见相关教程。本人使用的是另一种类型的TX2开发版。如图所示： 1. 从官网下载JetPack3.0下载

2017-08-14 09:21:06 6776 4

原创 ROS学习(2)--ROS项目试炼

This book is about learning ROS by examples. Due to the fact that ROS is not my preliminary thing that I just have a glimps to it. Overall, I just care about the basic concept about ROS and the impleme

2017-08-14 09:19:34 719

原创 ROS学习(1)--ROS简介

Version Content Editor Date Remarks 1.0 Finish the installation of ROS and it’s related materials WilliamYi 10th July, 2017 none 2.0 Summary the outline of ROS(three key levels)

2017-08-14 09:18:32 399

原创 CUDA学习(2)--编程模型

Key Abstraction of CUDAThread Hierarchy –> Divide thread into several blocksMemory Hierarchy –> Local memory of threads, shared memory of blocks and global memory of gridHeterogonous Programming –

2017-08-14 09:15:48 244

原创 CUDA学习(1)--CUDA简介

Difference between GPU and CPUGPU cares more about data processing ability while CPU concerns more about flow control and data caching.GPU is more excellent at computing compute-intensive and high pa

2017-08-14 09:14:04 357

Java编程思想第四版完整中文高清版

《算法导论》第三版英文版pdf

空空如也