2016年05月_SuPhoebe

转载正则化方法：L1和L2 regularization、数据集扩增、dropout

正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不work。为了防止overfitting，可以用的方

2016-05-24 14:50:24 1690 2

转载交叉验证(Cross-Validation)

概述交叉验证(Cross-Validation)是用于防止模型过于复杂而引起的过拟合。有时亦称循环估计，是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析，而其它子集则用来做后续对此分析的确认及验证。一开始的子集被称为训练集(training set)。而其它的子集则被称为验证集(validation set)，一般与测试集区(test set)分开。交叉验证对于人

2016-05-24 11:46:36 10412 2

原创 Deep Learning学习之 CNN代码解析（MATLAB）

MATLAB实现CNN一般会用到deepLearnToolbox-master。但是根据Git上面的说明，现在已经停止更新了，而且有很多功能也不太能够支持，具体的请大家自习看一看Git中的README。deepLearnToolbox-master是一个深度学习matlab包，里面含有很多机器学习算法，如卷积神经网络CNN，深度信念网络DBN，自动编码AutoEncoder（堆栈SAE，卷积CAE）

2016-05-16 21:00:31 92251 22

原创 Deep Learning学习之卷积神经网络（文字识别系统LeNet-5）

在经典的模式识别中，一般是事先提取特征。提取诸多特征后，要对这些特征进行相关性分析，找到最能代表字符的特征，去掉对分类无关和自相关的特征。然而，这些特征的提取太过依赖人的经验和主观意识，提取到的特征的不同对分类性能影响很大，甚至提取的特征的顺序也会影响最后的分类性能。同时，图像预处理的好坏也会影响到提取的特征。那么，如何把特征提取这一过程作为一个自适应、自学习的过程，通过机器学习找到分类性能最优的特

2016-05-15 21:33:44 20294 7

原创 Deep Learning学习之卷积神经网络（CNN）

概述起源卷积网络最初是受视觉神经机制的启发而设计的，是为识别二维形状而设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野(receptive field)的概念，1984年日本学者Fukushima 基于感受野概念提出的神经认知机(neocognitron)模型，它可以看作是卷积神经网

2016-05-12 08:48:39 21876 6

转载 Deep Learning学习之 Deep Learning训练过程

传统神经网络的训练方法为什么不能用在深度神经网络BP算法作为传统训练多层网络的典型算法，实际上对仅含几层网络，该训练方法就已经很不理想。深度结构（涉及多个非线性处理单元层）非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。BP算法存在的问题：（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小；（2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）；（

2016-05-12 08:39:25 1563

转载 Deep Learning学习之 Deep learning简介

一、什么是Deep Learning？实际生活中，人们为了解决一个问题，如对象的分类（对象可是是文档、图像等），首先必须做的事情是如何来表达一个对象，即必须抽取一些特征来表示一个对象，如文本的处理中，常常用词集合来表示一个文档，或把文档表示在向量空间中（称为VSM模型），然后才能提出不同的分类算法来进行分类；又如在图像处理中，我们可以用像素集合来表示一个图像，后来人们提出了新的特征表示，如SIFT，

2016-05-12 08:36:40 1351

翻译神经语言学中的卷积神经网络

本文原文来自博文本文主要讲解的是CNN的功能、设计，可以依照中文对CNN的解释。两篇文章有一些相互对应的地方，参照着看更好理解。当人们提到卷积神经网络(CNN), 大部分是关于计算机视觉的问题。卷积神经网络确实帮助图像分类以及计算机视觉系统核心取得了重要突破，例如Facebook自动照片加tag的功能啊，自动驾驶车辆等。近年来，我们也尝试用CNN去解决神经语言学（NLP）中的问题，并且获得了

2016-05-11 20:58:02 6397 3

原创 Matlab学习之随机数

matlab中生成随机数主要有三个函数：rand, randn,randi 1，rand 生成均匀分布的伪随机数。分布在（0~1）之间主要语法：rand(m,n)生成m行n列的均匀分布的伪随机数 rand(m,n,’double’)生成指定精度的均匀分布的伪随机数，参数还可以是’single’ rand(RandStream,m,

2016-05-11 11:14:52 4911

原创 Matlab学习之文件操作

MATLAB中有两种文件I/O程序：high level and low level. High level routines: 包括现成的函数，可以用来读写特殊格式的数据，并且只需要少量的编程。 Low level routines: 可以更加灵活的完成相对特殊的任务，需要较多的额外编程。High level routines 包括现成的函数，可以用来读写特殊格式的数据，并且只需要少量的编程。

2016-05-10 19:47:54 2155 1

原创 Matlab学习之 Multivariance Linear Regression

本文主要是来练习多变量线性回归问题（3个变量）。那个时候用梯度下降法求解时，给出的学习率是固定的0.70.7。而本次实验中学习率需要自己来选择，因此我们应该从小到大（比如从0.0010.001到1010）来选择，通过观察损失值与迭代次数之间的函数曲线来决定使用哪个学习速率。当有了学习速率α\alpha后，则本问问题求解方法和上面的没差别。本文要解决的问题是给出了4747个训练样本，训练样本的yy值为

2016-05-10 17:57:09 1427

原创 Matlab学习之 linear regression

本文练习的是最简单的二元线性回归。题目本题给出的是5050个数据样本点，其中xx为这5050个小朋友到的年龄，年龄为22岁到88岁，年龄可有小数形式呈现。YY为这5050个小朋友对应的身高，当然也是小数形式表示的。现在的问题是要根据这5050个训练样本，估计出3.53.5岁和77岁时小孩子的身高。通过画出训练样本点的分布凭直觉可以发现这是一个典型的线性回归问题。matlab函数介绍legend:比如

2016-05-08 11:21:19 12628 3

Mr.Phoebe的专栏