How to design DL model(2):Inception(v4)-ResNet and the Impact of Residual Connections on Learning

转载自: http://www.jianshu.com/p/329d2c0cfca9 Google Research的Inception模型和Microsoft Research的Residual Net模型两大图像识别杀器结合效果如何?在这篇2月23日公布在arxiv上的文章“Incept...

2017-08-18 15:11:46

阅读数:1873

评论数:0

总结人脸识别的方向(FD,FA,FR,FV)

一、前述 1. 发展 以往的人脸识别主要是包括人脸图像采集、人脸识别预处理、身份确认、身份查找等技术和系统。现在人脸识别已经慢慢延伸到了ADAS中的驾驶员检测、行人跟踪、甚至到了动态物体的跟踪。由此可以看出,人脸识别系统已经由简单的图像处理发展到了视频实时处理。而且算法已经由以前的Ad...

2017-06-06 21:25:50

阅读数:5920

评论数:3

最小二乘法概念简述

最小二乘法Least Square Method,做为分类回归算法的基础,有着悠久的历史(由马里·勒让德于1806年提出)。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他...

2017-02-04 21:04:12

阅读数:4720

评论数:1

GoogleNet之Inception in CNN

之前也写过GoogLeNet的笔记,但那个时候对Inception有些似懂非懂,这周重新看了一遍,觉得有了新的体会,特地重新写一篇博客与它再续前缘。 本文属于论文笔记性质,特此声明。 Network in Network GoogLeNet提出之时,说到其实idea是来自NIN,...

2017-02-03 18:02:27

阅读数:2192

评论数:0

GoogLeNet系列解读InceptionV1/V2

http://blog.csdn.net/shuzfan/article/details/50738394 本文介绍的是著名的网络结构GoogLeNet及其延伸版本,目的是试图领会其中的思想而不是单纯关注结构。 GoogLeNet Incepetion V1 ...

2017-02-03 16:45:48

阅读数:7303

评论数:0

深度学习中的数学与技巧(10):PCA的数学原理

reference:http://blog.codinglabs.org/articles/pca-tutorial.html PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主...

2016-10-20 18:25:52

阅读数:1311

评论数:0

深度学习中的数学与技巧(7):特征值和特征向量的几何意义、计算及其性质

一、特征值和特征向量的几何意义 特征值和特征向量确实有很明确的几何意义,矩阵(既然讨论特征向量的问题,当然是方阵,这里不讨论广义特征向量的概念,就是一般的特征向量)乘以一个向量的结果仍是同维数的一个向量。因此,矩阵乘法对应了一个变换,把一个向量变成同维数的另一个向量。 那么变换的效果是什么呢?...

2016-10-20 10:48:03

阅读数:1837

评论数:0

深度学习中的数学与技巧(6): 详解协方差与协方差矩阵计算

协方差的定义   对于一般的分布,直接代入E(X)之类的就可以计算出来了,但真给你一个具体数值的分布,要计算协方差矩阵,根据这个公式来计算,还真不容易反应过来。网上值得参考的资料也不多,这里用一个例子说明协方差矩阵是怎么计算出来的吧。 记住,X、Y是一个列向量,它表示了每种情况下每个样本可能出现...

2016-10-20 10:39:23

阅读数:8354

评论数:2

深度学习中的数学与技巧(5):白化whitening

一、相关理论     白化这个词,可能在深度学习领域比较常遇到,挺起来就是高大上的名词,然而其实白化是一个比PCA稍微高级一点的算法而已,所以如果熟悉PCA,那么其实会发现这是一个非常简单的算法。     白化的目的是去除输入数据的冗余信息。假设训练数据是图像,由于图像中相邻像素之间具有很强的...

2016-10-19 15:47:32

阅读数:2586

评论数:0

深度学习中的数学与技巧(4): BatchNormalization 代码实现

BatchNormalization是神经网络中常用的参数初始化的方法。其算法流程图如下:  我们可以把这个流程图以门电路的形式展开,方便进行前向传播和后向传播:  那么前向传播非常简单,直接给出代码: def batchnorm_forward(x, gamma, beta, eps):...

2016-10-19 15:43:27

阅读数:1990

评论数:0

深度学习中的数学与技巧(3):从Bayesian角度浅析Batch Normalization

前置阅读:http://blog.csdn.net/happynear/article/details/44238541——Batch Norm阅读笔记与实现 前置阅读:http://www.zhihu.com/question/38102762——知乎网友 Deep Learning与B...

2016-10-19 15:41:36

阅读数:1115

评论数:0

深度学习中的数学与技巧(2):《Batch Normalization Accelerating Deep Network Training by Reducing Interna

今年过年之前,MSRA和Google相继在ImagenNet图像识别数据集上报告他们的效果超越了人类水平,下面将分两期介绍两者的算法细节。   这次先讲Google的这篇《Batch Normalization Accelerating Deep Network Training by Redu...

2016-10-19 15:37:09

阅读数:756

评论数:0

CVPR2016 主旨演讲及焦点论文速览

转者(ym): 转载这篇文章是因为看到其后半部分,法国 Inria 研究所的研究员 Nikos Paragios所言的事实尤为感慨,也着实是我们需要去深入思考的一个问题,纪录思考。 ---------------------------------------------------------...

2016-09-29 16:59:40

阅读数:503

评论数:0

FCN/MRF图像语义分割与马克尔夫随机场

参考自知乎作者:困兽 链接:https://zhuanlan.zhihu.com/p/22308032 前言 (呕血制作啊!)前几天刚好做了个图像语义分割的汇报,把最近看的论文和一些想法讲了一下。所以今天就把它总结成文章啦,方便大家一起讨论讨论。本文只是展示了一些比较经典和自己觉得比较不错的结...

2016-09-26 14:15:24

阅读数:4306

评论数:0

How to design DL model(1):Highway Network & ResNet & ICCV 2015 笔记参考

reference:http://www.tuicool.com/articles/F77Bzu 这几天,关于 ICCV 2015 有一个振奋人心的消息——“微软亚洲研究院视觉计算组的研究员们凭借深层神经网络技术的最新突破,以绝对优势获得 图像分类、图像定位以及图像检测 全部三个主要项目的冠军。同...

2016-07-04 16:22:01

阅读数:8772

评论数:0

Deep Residual Learning for Image Recognition(ResNet)论文笔记

reference:  http://blog.csdn.net/cv_family_z/article/details/50328175 http://blog.csdn.net/yaoxingfu72/article/details/50764087 本文介绍一下2015 ImageNet...

2016-07-04 15:55:55

阅读数:9054

评论数:2

Training Very Deep Networks--Highway Networks 论文笔记

网上有传言 微软的深度残差学习是抄袭 Highway Networks,只是Highway Networks的一个特例。Highway Networks 的确是先发表的。 http://people.idsia.ch/~rupesh/very_deep_learning/ 有开源代码 ...

2016-07-04 11:39:06

阅读数:2340

评论数:0

RNN and LSTM introduction

原文 http://www.jianshu.com/p/9dc9f41f0b29 本文译自 Colah 的博文 Recurrent Neural Networks  人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候,你都是基于自己已经拥有的对先前所见词的理解来...

2016-06-22 23:34:28

阅读数:987

评论数:0

深度学习中的数学与技巧(0):优化方法总结比较(sgd/momentum/Nesterov/adagrad/adadelta)

reference:  http://blog.csdn.net/luo123n/article/details/48239963 前言 这里讨论的优化问题指的是,给定目标函数f(x),我们需要找到一组参数x,使得f(x)的值最小。 本文以下内容假设读者已经了解机器学习基本知识,和梯度下降的...

2016-06-22 11:44:33

阅读数:2738

评论数:0

SVM和SoftMax的原理区别对比

出处:http://blog.csdn.net/han_xiaoyang/article/details/49999299  声明:版权所有,转载请注明出处,谢谢。 1. 线性分类器 在深度学习与计算机视觉系列(2)我们提到了图像识别的问题,同时提出了一种简单的解决方法——KNN。然后我们也看...

2016-05-19 10:49:17

阅读数:14405

评论数:1

提示
确定要删除当前文章?
取消 删除
关闭
关闭