- 博客(17)
- 资源 (13)
- 问答 (1)
- 收藏
- 关注
原创 UFLDL——Exercise: PCA in 2D 主成分分析
实验要求可以参考deeplearning的tutorial, Exercise: PCA in 2D。 1. 实验描述:实验在二维数据上进行PCA降维,PCA白化处理,以及ZCA白化处理,原理可以参考之间的博客,下面直接贴代码。 在实验中,我计算了每一次原始数据,PCA旋转,PCA白化处理,以及ZCA白化处理后的协方差矩阵,结果为:计算协方差我使用了
2014-12-25 16:24:12 1743
原创 白化(Whitening) PCA白化 ZCA白化
白化是一种重要的预处理过程,其目的就是降低输入数据的冗余性,使得经过白化处理的输入数据具有如下性质:(i)特征之间相关性较低;(ii)所有特征具有相同的方差。 白化处理分PCA白化和ZCA白化,PCA白化保证数据各维度的方差为1,而ZCA白化保证数据各维度的方差相同。PCA白化可以用于降维也可以去相关性,而ZCA白化主要用于去相关性,且尽量使白化后的数据接近原始输入数据。1
2014-12-25 15:46:34 24221 1
原创 PCA主成分分析(Principal Component Analysis)
PCA是基本的线性降维方法,同时也是一种监督学习降维方法。PCA是希望降维之后,尽量保留原始数据的方差结构,所以我们需要投影方向a使得投影之后数据的方差最大化。1. 求解PCA是通过求解协方差矩阵的特征向量作为投影方向,如果我们要把原始数据降维到k维,把协方差矩阵前k大的特征值所对应的特征向量作为投影方向,证明见PPT。 步骤:1. 假设有m个d为数据,把这些
2014-12-25 10:32:58 4043 3
原创 期望 方差 协方差 协方差矩阵 (Expectation Variance Covariance)
在学习机器学习的算法时经常会碰到随机变量的数字特征,所以在这里做一个简单的总结。1、 期望(Expectation)离散:其中,f(x)为随机变量x的概率函数,事实上期望就是随机变量的平均数。 连续:连续情况和离散的类似,只是把求和换成了积分。 求解关于自变量函数的期望的公式如下,其实自变量x的期望是r(x)=x的一个特例。离散
2014-12-24 21:50:10 10520 1
转载 马尔科夫链和马尔科夫随机场
1.什么是随机过程?在当代科学与社会的广阔天地里,人们都可以看到一种叫作随机过程的数学模型:从银河亮度的起伏到星系空间的物质分布、从分子的布朗运动到原子的蜕变过程,从化学反应动力学到电话通讯理论、从谣言的传播到传染病的流行、从市场预测到密码破译,随机过程理论及其应用几乎无所不在。人类历史上第一个从理论上提出并加以研究的过程模型是马尔科夫链,它是马尔科夫对概率论乃至人类思想发展作出的又一伟大
2014-12-18 22:24:44 1986
转载 深度学习的一些教程
几个不错的深度学习教程,基本都有视频和演讲稿。附两篇综述文章和一副漫画。还有一些以后补充。Jeff Dean 2013 @ Stanfordhttp://i.stanford.edu/infoseminar/dean.pdf一个对DL能干什么的入门级介绍,主要涉及Google在语音识别、图像处理和自然语言处理三个方向上的一些应用。参《Spanner and Deep
2014-12-16 21:51:59 1431
原创 UFLDL——Exercise: Stacked Autoencoders栈式自编码算法
实验要求可以参考deeplearning的tutorial, Exercise: Implement deep networks for digit classification 。本实验仍然是对手写数字0-9的识别,相比于之前的模型变得更复杂,通过多层隐含层从原始特征中学习更能代表数据特点的特征,然后把学习到的新特征输入到softmax回归进行分类。实验中使用了更深的神经网络(更复杂)
2014-12-14 17:08:41 3848 3
原创 UFLDL——Exercise:Self-Taught Learning 自我学习
实验要求可以参考deeplearning的tutorial, Exercise:Self-Taught Learning 。本实验和上一个实验一样都是对手写数字0-9的识别,区别在于上一个实验直接把原始图像的像素值作为特征输入到softmax回归进行分类,而本实验通过自学习从原始像素值从学习到维度更低的特征(稀疏自动编码),再交给softmax回归,相当于比之前的实验多了自学习特征的步骤
2014-12-13 20:42:23 2065
原创 UFLDL——Exercise: Softmax Regression (softmax回归)
实验要求可以参考deeplearning的tutorial,Exercise:Softmax Regression ,softmax回归的原理可以参照之前Logistic and Softmax Regression (逻辑回归和Softmax回归)博文,本实验实现对手写数字0-9的识别。1. 实验描述神经网络结构:在之前的博文中谈到,softmax回归是最神
2014-12-13 16:48:05 2194
原创 Logistic and Softmax Regression (逻辑回归和Softmax回归)
1. 简介逻辑回归和Softmax回归是两个基础的分类模型,虽然听名字以为是回归模型,但实际我觉得他们也有一定的关系。逻辑回归,Softmax回归以及线性回归都是基于线性模型,它们固定的非线性的基函数(basis function) 的线性组合,形式如下:2.逻辑回归谈谈逻辑回归,Softmax回归,前者主要处理二分类问题,而后者处理多分类问题,但事实上Softmax回归就是逻辑回归的
2014-12-12 22:30:51 25300 1
转载 阅读文献的三大问题:坐不住,记不住,想不开
From: http://blog.sciencenet.cn/home.php?mod=space&uid=2068&do=blog&id=500206阅读文献的三大问题:坐不住,记不住,想不开 文献阅读是科研的重要基础,但是并非每一个科研人员都喜欢和擅长看文献——例如我自己。我发现,阅读文献存在的问题可以归纳为三个:坐不住,记不住,想不开。
2014-12-12 17:10:26 2116
原创 生成模型(generative model)和判别模型(discriminative model)
在看论文和机器学习教材的时候,经常会看到生成模型和判别模型,一致对着两个模型概念很模糊,在这里自己做一个小结。 在后面介绍这个两个模型时,我们以分类问题为例,以加深理解。我们都知道,分类问题可以分为两个阶段:推理阶段(inference stage)和决策阶段(decision stage)。推理阶段:利用训练数据学习得到一个可以计算 的模型。决策阶段:利用在推理阶段得到的后验概率
2014-12-12 16:53:01 16517 1
原创 UFLDL——Exercise: Sparse Autoencoder 稀疏自动编码
实验要求可以参考deeplearning的tutorial,Exercise:Sparse Autoencoder。稀疏自动编码的原理可以参照之前的博文,神经网络, 稀疏自动编码 。1. 神经网络结构:实验是实现三层的稀疏自动编码神经网络,神经网络结构包括输入层64个neuron,隐含层25个neuron(都不包括bias结点),输出层和输入层相同的neuron
2014-12-09 21:48:03 3204 1
原创 形状特征——Sift特征
形状特征的表达必须以对图像中物体或区域的分割为基础,由于当前的技术无法做到准确而鲁棒的自动图像分割,图像的形状特征只能在某些特殊应用场合使用,在这些应用中图像包含的物体或区域可以直接获得。另一方面,由于人们对物体形状的变换、旋转和缩放主观上不太敏感,合适的形状特征必须满足对变换、旋转和缩放无关,其中SIFT特征就是满足这一要求。1. 简介SIFT(Scale-invar
2014-12-08 21:21:46 3391
原创 标度差值图像
标度差值图像主要应用在两张图像相减的时候,在实践中,大多数图像都是有8码显示,因此像素值在0到255之间,因此在差值图像中,像素值的取值为-255到255之间,因此在显示这一结果时需要对图像作标度。 方法一:对每一个像素值再加上255,然后除以2。该方法无法保证像素的取值可以覆盖0到255的全部8比特范围,但是所有的像素一定在这一范围。另外,在除以2过程中固有的截尾误差通常将导致精确度
2014-12-08 19:47:28 3531
原创 稀疏自动编码(Sparse Autoencoder)
在之前的博文中,我总结了神经网络的大致结构,以及算法的求解过程,其中我们提高神经网络主要分为监督型和非监督型,在这篇博文我总结下一种比较实用的非监督神经网络——稀疏自编码(Sparse Autoencoder)。1.简介上图是稀疏自编码的一般结构,最大的特点是输入层结点数(不包括bias结点)和输出层结点数相同,而隐藏层结点个数少于输入层和输出层结点的个数。该模型的
2014-12-05 10:13:09 18794 4
原创 神经网络(Neural Networks)
一般的回归和分类方式是基于线性模型,也就是固定的非线性的基函数(basis function)的线性组合,形式如下:其中,如果f(.)是非线性的激活函数(activation function),这就是一个分类模型;如果f(.)是恒等函数(identity),则是回归模型。根据自己的认识,我认为神经网络就是多层这样的模型的叠加,并引入非线性的activation funct
2014-12-02 22:10:32 5862
UFLDL Exercise: Convolution and Pooling 卷积和池化
2015-01-01
UFLDL——Exercise:Linear Decoders 线性解码器
2014-12-14
UFLDL Exercise: Stacked autoencoder 栈式自编码
2014-12-14
UFLDL Exercise: Softmax Regression (softmax回归)
2014-12-13
标定差值图像 DoG
2014-12-08
OpenGL超级宝典 第5版 中文版 pdf part3
2013-07-21
OpenGL超级宝典 第5版 中文版 pdf part2
2013-07-21
OpenGL超级宝典 第5版 中文版 pdf
2013-07-21
MFC如何在其他类中让CView中的OnSize函数执行
2013-12-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人