How to design DL model(1):Efficient Convolutional Neural Networks for Mobile Vision Applications

论文地址:MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications  民间实现:caffe | Tensorflow  官方代码:tensorflow/models reference: ...

2017-08-08 10:18:34

阅读数:1133

评论数:0

GoogleNet之Inception in CNN

之前也写过GoogLeNet的笔记,但那个时候对Inception有些似懂非懂,这周重新看了一遍,觉得有了新的体会,特地重新写一篇博客与它再续前缘。 本文属于论文笔记性质,特此声明。 Network in Network GoogLeNet提出之时,说到其实idea是来自NIN,...

2017-02-03 18:02:27

阅读数:2192

评论数:0

GoogLeNet系列解读InceptionV1/V2

http://blog.csdn.net/shuzfan/article/details/50738394 本文介绍的是著名的网络结构GoogLeNet及其延伸版本,目的是试图领会其中的思想而不是单纯关注结构。 GoogLeNet Incepetion V1 ...

2017-02-03 16:45:48

阅读数:7303

评论数:0

caffe中的卷积的计算细节和1x1卷积作用

在卷积神经网络中,卷积算是一个必不可少的操作, 下图是一个简单的各层的关系。 可以看出一个很好的扩展的关系,下面是整个卷积的大概的过程 图中上半部分是传统的卷积的操作,下图是一个矩阵的相乘的操作。 下图是在一个卷积层中将卷积操作展开的具体操作过程,他里面按照卷积核的大小取数据然后展开,在同...

2016-11-30 15:23:30

阅读数:5899

评论数:0

深度学习中的数学与技巧(7):特征值和特征向量的几何意义、计算及其性质

一、特征值和特征向量的几何意义 特征值和特征向量确实有很明确的几何意义,矩阵(既然讨论特征向量的问题,当然是方阵,这里不讨论广义特征向量的概念,就是一般的特征向量)乘以一个向量的结果仍是同维数的一个向量。因此,矩阵乘法对应了一个变换,把一个向量变成同维数的另一个向量。 那么变换的效果是什么呢?...

2016-10-20 10:48:03

阅读数:1837

评论数:0

深度学习中的数学与技巧(6): 详解协方差与协方差矩阵计算

协方差的定义   对于一般的分布,直接代入E(X)之类的就可以计算出来了,但真给你一个具体数值的分布,要计算协方差矩阵,根据这个公式来计算,还真不容易反应过来。网上值得参考的资料也不多,这里用一个例子说明协方差矩阵是怎么计算出来的吧。 记住,X、Y是一个列向量,它表示了每种情况下每个样本可能出现...

2016-10-20 10:39:23

阅读数:8353

评论数:2

深度学习中的数学与技巧(5):白化whitening

一、相关理论     白化这个词,可能在深度学习领域比较常遇到,挺起来就是高大上的名词,然而其实白化是一个比PCA稍微高级一点的算法而已,所以如果熟悉PCA,那么其实会发现这是一个非常简单的算法。     白化的目的是去除输入数据的冗余信息。假设训练数据是图像,由于图像中相邻像素之间具有很强的...

2016-10-19 15:47:32

阅读数:2586

评论数:0

深度学习中的数学与技巧(4): BatchNormalization 代码实现

BatchNormalization是神经网络中常用的参数初始化的方法。其算法流程图如下:  我们可以把这个流程图以门电路的形式展开,方便进行前向传播和后向传播:  那么前向传播非常简单,直接给出代码: def batchnorm_forward(x, gamma, beta, eps):...

2016-10-19 15:43:27

阅读数:1990

评论数:0

深度学习中的数学与技巧(3):从Bayesian角度浅析Batch Normalization

前置阅读:http://blog.csdn.net/happynear/article/details/44238541——Batch Norm阅读笔记与实现 前置阅读:http://www.zhihu.com/question/38102762——知乎网友 Deep Learning与B...

2016-10-19 15:41:36

阅读数:1115

评论数:0

深度学习中的数学与技巧(2):《Batch Normalization Accelerating Deep Network Training by Reducing Interna

今年过年之前,MSRA和Google相继在ImagenNet图像识别数据集上报告他们的效果超越了人类水平,下面将分两期介绍两者的算法细节。   这次先讲Google的这篇《Batch Normalization Accelerating Deep Network Training by Redu...

2016-10-19 15:37:09

阅读数:756

评论数:0

深度学习中的数学与技巧(1):BN之利用随机前馈神经网络生成图像观察网络复杂度

零、声明 这是一篇失败的工作,我低估了batch normalization里scale/shift的作用。细节在第四节,请大家引以为戒。 一、前言   关于神经网络的作用有一个解释:它是一个万能函数逼近器。通过BP算法调整权重,在理论上神经网络可以近似出任意的函数。    当然,要近似出来...

2016-10-19 15:28:00

阅读数:1237

评论数:0

Very Deep Convolutional Networks for Large-Scale Image Recognition

reference: http://blog.csdn.net/u014114990/article/details/50715548 本文是牛津大学 visual geometry group(VGG)Karen Simonyan 和Andrew Zisserman 于14年撰写的论文,主...

2016-07-18 10:55:35

阅读数:588

评论数:0

Ubuntu14.04 Torch Configuration

总说 采用的ubuntu是14.04, 安装的cuda是7.5的cuda-repo-ubuntu1404-7-5-local_7.5-18_amd64。cudnn是7.5 的, cudnn-7.5-linux-x64-v5.0-ga.tgz。 参考: neural-style 其实这篇已经讲...

2016-07-15 10:43:05

阅读数:488

评论数:0

How to design DL model(1):Highway Network & ResNet & ICCV 2015 笔记参考

reference:http://www.tuicool.com/articles/F77Bzu 这几天,关于 ICCV 2015 有一个振奋人心的消息——“微软亚洲研究院视觉计算组的研究员们凭借深层神经网络技术的最新突破,以绝对优势获得 图像分类、图像定位以及图像检测 全部三个主要项目的冠军。同...

2016-07-04 16:22:01

阅读数:8772

评论数:0

Deep Residual Learning for Image Recognition(ResNet)论文笔记

reference:  http://blog.csdn.net/cv_family_z/article/details/50328175 http://blog.csdn.net/yaoxingfu72/article/details/50764087 本文介绍一下2015 ImageNet...

2016-07-04 15:55:55

阅读数:9054

评论数:2

Training Very Deep Networks--Highway Networks 论文笔记

网上有传言 微软的深度残差学习是抄袭 Highway Networks,只是Highway Networks的一个特例。Highway Networks 的确是先发表的。 http://people.idsia.ch/~rupesh/very_deep_learning/ 有开源代码 ...

2016-07-04 11:39:06

阅读数:2340

评论数:0

Mean Average Precision

reference: https://www.kaggle.com/wiki/MeanAveragePrecision Introduction Parameters: n Suppose there are m missing outbound edges from a use...

2016-07-04 10:20:23

阅读数:1704

评论数:0

Matlab loss 曲线

show()代码如下: function plot_log(logName) fid = fopen(logName, 'r'); test_loss = fopen('test_loss.txt', 'w'); train_loss = fopen('train_loss.txt', 'w'...

2016-06-30 14:43:57

阅读数:657

评论数:0

deep learning: heat Map

reference: http://blog.csdn.net/liyaohhh/article/details/50990927 图像的heatMap是什么,一副图片的heatmap可以帮助我们在上面检测到想要的object,如下左图所示:               可以直接的看到,人...

2016-06-22 23:46:27

阅读数:3422

评论数:0

Recall/Precision/FPPI 评价方式

原文出自:http://blog.csdn.net/wangran51/article/details/7579100 最近一直在做相关推荐方面的研究与应用工作,召回率与准确率这两个概念偶尔会遇到, 知道意思,但是有时候要很清晰地向同学介绍则有点转不过弯来。   搞清楚 tp, fp...

2016-06-22 15:16:57

阅读数:5791

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭