2015年09月_Xiaomin-Wu

原创 PRelu--Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

微软研究院2015的一片论文。1.概要：PRelu其实是Relu的增强版，PRelu使得模型在ImageNet2012上的结果提高到4.94%，超过普通人的正确率；PRelu需要像更新权重weights一样使用BP更新一个额外的参数，但是相较于weights的数量来说，PRelu需要更新的参数总数可以忽略不计，所以不会加重overfitting的影响。如果PRelu的参数为0，那其实就是Relu；如

2015-09-28 19:12:50 9478 4

原创 Network in Network -- 论文笔记

1.概述：作者的想法就是将ConVNet的filter用micro network代替，FC层用global average pooling代替。这样做的好处就是，micro network比filter能提取到更加抽象的特征，global average polling没有参数，相比于FC，能够消除FC层带来的overfitting的影响。2.idea：1）：MLP Convolution Lay

2015-09-26 22:00:17 2879

原创 Learning both Weights and Connections for Efficient Neural Network -- 论文笔记

这是2015年斯坦福和英伟达的一篇论文。1.简介：通过修剪训练后网络中的不重要连接（connections），来减少网络所需要的参数，减少内存和cpu的消耗，使网络更加适应在移动设备上运行。2.idea思想：1）首先训练整个网络，判断哪些是重要连接。2）修剪不重要的连接。3）重新训练修剪后的网络，微调保留下来的参数。3.达到的效果：1）在ImageNet上，减少了AlexNet 9倍的参数，从61

2015-09-25 17:35:21 6632 5

转载句子相似度

计算句子相似度，①常用方法有基于语义和词序相似度计算方法，②基于关系向量模型基于语义和词序的句子相似度计算方法简介定义1：给定一个句子Ti，经过汉语分词系统分词后，得到的所有词W1构成的向量称为句子Ti的向量表示，表示为Ti = {w1,w2,.....wn}。例子1：T1：这个中文分词可不可以，用着方不方便。分词后：T1=[这个, 中文分词, 可不可以, 用着, 方, 不, 方便]。向量表示T1=

2015-09-23 16:26:43 3682

原创 Batch Normalization 简单理解

1：背景由于在训练神经网络的过程中，每一层的 params是不断更新的，由于params的更新会导致下一层输入的分布情况发生改变，所以这就要求我们进行权重初始化，减小学习率。这个现象就叫做internal covariate shift。2：idea思想虽然可以通过whitening来加速收敛，但是需要的计算资源会很大。而Batch Normalizationn的思想则是对于每一组batch，在网络

2015-09-23 14:47:00 28410 2

原创浅析SAE与DBM（Deep Learning）

笔者实力有限，诸多错误之处还望指出。 SAE与DBN两个都可以用于提取输入集特征的算法。 SAE是由多个Spase AutoEncoder堆叠而成，单个Spase AutoEncoder的结构如下：在堆叠成SAE时的结构如下：以上SAE的结构可以化分为两个sparse autoencoder和一个 softmax（这里不讨论softmax）.其中的两个sparse autoenc

2015-09-08 19:51:54 7316

原创 Spatial Pyramid Pooling in Deep Convolutional --- Spp_net

微软亚研院2015的一篇文章，优点是能够满足任意大小图像的输入，通过整个原图一次性的输入卷积网络，解决了RCNN检测速度慢的问题。主要思想：（1）Spatial Pyramid Pooling Layer. 正是因为该层，才让Spp_net能够实现任意图片的输入，并且得到固定长度的特征向量：stride和window的计算：（2）Mapping a Window to Feature Maps. 将

2015-09-01 15:10:46 2266 1

meanme的专栏