2013年11月_richard2357

12月 11月 08月 06月

原创 exponential family

在机器学习中，几乎到处都可以见到exponential family的影子。从伯努利分布，高斯分布，logistic回归，最大熵，都与exponential family息息相关。找了很久的资料，后来发现来自【1】中的讲解最好最清楚。本文是对其的摘录和理解。exponential family定义其中pdf指probability density function， pmf

2013-11-26 19:04:01 4301 1

原创 Deep Learning 开发工具Theano安装配置

Theano是一个非常好的Deep Learning工具。按照官网的教程配置出了点问题，捣鼓了很久总结如下。官网指南：http://deeplearning.net/software/theano/install.html#install安装Theano我的环境：64位 windows 71. 安装Anaconda，这是一个python的超集，里面包含了python2.7，

2013-11-26 13:45:55 7193

原创卷积神经网络CNN

近来在了解深度学习。深度神经网络的一大特点就是含有多隐含层。卷积神经网络（CNN）算是深度神经网的前身了，在手写数字识别上在90年代初就已经达到了商用的程度。本文中将简要介绍CNN，由于相应的博文资料已经很多，也写的很好，本篇最有价值的是参考资料部分。前向神经网络数字识别假设我们的图片是28*28像素的，使用最简单的神经网络进行识别，如图1图1输入层是像素值（一般使用黑

2013-11-23 18:02:29 3467 1

原创 TDNN时延神经网络

近来在了解卷积神经网络（CNN），后来查到CNN是受语音信号处理中时延神经网络（TDNN）影响而发明的。本篇的大部分内容都来自关于TDNN原始文献【1】的理解和整理。普通神经网络识别音素在讲TDNN之前先说说一般的神经网络的是怎样识别音素的吧。假设要识别三个辅音"B", "D", "G"，那么我们可以设计这样的神经网络：图1其中输入0-12代表每一帧的特征向量（如1

2013-11-23 11:14:44 37352 5

原创 SOM自组织神经网络

SOM自组织神经网络是神经网络的一种。个人感觉属于仿生学的一种方法。这种网络是基于生理学和脑科学研究成果提出的。与前向神经网络不同，它是一种无监督的学习。适用于数据聚类。应用：数据聚类，数据降维（如映射高维数据到2维平面）SOM自组织神经网络是两层结构，包括输入层和竞争层。为什么要用这种结构？因为Kohonen根据生理学的发现，认为神经网络在接受外界输入时，将会分成不同的区域，不同的区域对

2013-11-22 14:00:59 26767

原创最大熵模型

最大熵模型一直困惑了我很久，直到最近看了exponential family才明白。最大熵解的形式属于exponential family。第一部分首先考虑一个问题：给定一些样本，求估计p(x)的分布。根据最大熵模型，这个问题可以写成最优化问题：其中为经验分布，表示样本中X=x出现的概率。下面给出最大熵的大白话定义：为了估计随机变量p(x)的分布，在给定限制

2013-11-20 11:49:53 3432

原创充分统计量

参考以下链接：http://liuhongxun.blog.163.com/blog/static/98763420064141052500/http://wenku.baidu.com/link?url=RTUMj4vYenz69ycdNe0qlvS701gVAoDt0v3XKvWdfvwtUd_41HWYGXjI05dJcTFiNE2CuThx8yvJOV2XTPK-zGuhSVZ

2013-11-19 17:17:20 1134

Machine Learning - A Probabilistic Perspective

从概率角度分析机器学习。是一本很好的工具书，很厚。

2013-12-11

pattern recognition and machine learning（附勘误）

剑桥大神Bishop的神作，个人认为在所有机器学习教材中讲得最为本质。附勘误。

2013-12-11

MFCC的详细介绍PPT

MFCC的详细介绍PPT，来源与CMU大学。

2013-12-05

svmtoy.exe

林智仁开发的libsvm里的一个svmtoy，对初学者很有感性上的帮助。

2013-05-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人