2017年08月_NeverMore_7

原创拉普拉斯近似

问题背景很多时候，无法确定一个概率分布的具体密度函数，因而在对这种分布进行后续操作（例如，作为贝叶斯学派求后验概率）时难度很大，无法进行。这时候则需要对这种无法精确知道分布函数的概率进行近似处理成已知的概率分布，从而方便计算或操作。拉普拉斯近似便是一种简单且广泛应用的近似方法，并且是很多采样方法的基础思想。拉普拉斯近似该方法的目的是找到一组定义在连续变量变量上的高斯近似，假设任一单一连

2017-08-26 17:18:52 8987 3

引言偏差方差分析是机器学习中常用的来衡量模型对数据拟合好坏的度量方式，PRML中对这一个问题进行了数学理论上的分析。最好的回归函数对于回归问题的朴素方式是对输入的每一个样本xx，输出对真实回归值tt的一个估计y(x)y(x)，这样做之后，会得一个估计值和真实值之间的损失L(y(x),t)L(y(x),t)，则平均损失就是:E[L]=∫∫L(y(x),t)p(x,t)dxdtE[L]=\int\int

2017-08-19 16:31:44 2032

原创 RNN结构及反BPTT向传播算法

写在前面传统的人工神经网络（Artificial Neural Network，ANN）存在很多局限性，在不断发展中，出现了真对图像数据的卷积神经网络（Convolutional Neural Network，CNN），解决了图像数据大，权重参数过多难以训练的问题。以及针对有序序列数据的循环神经网络（Recurrent neural Network，RNN），不谋而合的是在这两种网络中都采用了权重共

2017-08-16 14:17:04 701

原创【PRML】—— 共轭分布

写在前面《pattern recognition and machine learning，PRML》一直广受好评，全书从数学思想的方面介绍模式识别和机器学习，阅读之前需要一些数学只是，如果大学本科的数学（高等数学、概率和梳理统计、线性代数）还没完全忘记的话，阅读起来应该不是难事。另外一点，你需要静下心来慢慢读，细细品味（第一次读这本书的时候，读了几个章节就完全懵逼了 - -！）。这是第二次拿起来读

2017-08-14 15:18:23 996

原创提升方法之AdaBoost、提升树（GBDT）

引言提升方法是一种常用的学习方法（确切来说是一种基于统计的学习方法），并且广泛有效，基本思想是：不需针对学习任务（分类或者回归，为叙述方便，后文中以分类为例）直接学习出一个模型，而是先学习出一个模型，对样本进行分类，在该模型无法准确分类的样本上学习第二个模型，以此类推，直到所有样本都被准确的分类，最终的模型是将之前学习到的模型进行线性组合，可看做是“分而治之”的思想。AdaBoost强弱学习器强

2017-08-11 16:00:25 4349 3

原创 NLP——分词之正向（逆向、双向）最大

引言自然语言处理(Natural Language Processing，NLP)一直是个研究的热点，随着神经网络(Neural Network，NN)的再次兴起，以及深度学习(Deep Learning，DL)的迅速发展，NLP也开始起飞。由于计算机只认识数字符号，对于英文、汉字这类“高级语言”计算机还没考过1级证书。就像一个婴儿，你喂他吃饭，不能一开始就喂一些高难度的食物嘛，扔给他一只龙虾。“朋

2017-08-04 15:02:53 3087

原创图像检索系统《Deep Learning of Binary Hash Codes for Fast Image Retrieval》

引言总结2015年CVPR论文《Deep Learning of Binary Hash Codes for Fast Image Retrieval》，论文主要内容是利用卷积神经网络(CNN)来构建图像相似度检测的深度学习方法。主要思想是讲卷积神经网络来提取图像特征，并将特征转化为二值量，根据二值向量来计算图像的相似度。传统方法图像检索的基础便是提取图像的特征信息，提取的特征信息越丰富，在进行检索

2017-08-04 10:56:35 1319

原创局部敏感哈希 LSH

引言局部敏感哈希（Locality-Sensitive Hashing, LSH)是用来解决高维检索问题的算法。想象一下，现在有数量庞大的数据点，每个点的维度可能几千或几万，给定一个点p，在这数据点集中寻找到可p最近的点或者最近的k个点。思路很清晰，我们必须要计算p到每个点的距离，根据计算结果排序，选择最近的点或者前k个点，距离可以用L1或L2泛数计算。这样的线性搜索，时间复杂度极高，效率地下。LS

2017-08-03 17:30:42 2412

原创隐马尔科夫模型（HMM）

隐马尔科夫模型（Hidden Markov Model,HMM）是一种概率图模型（PGM），概率图模型的定义及内容参看：概率图模型。必备的数学知识随机过程（Stochastic Process）是一连续状态下随机变量的动态关系的定量描述。回想一下随机变量的数学定义，随机变量是描述一组实验的可能结果，所有的可能结果构成一个基本空间，随机过程可看做在随机变量的基础上附加了一个连续状态，比如时间。

2017-08-02 13:47:57 973

南极企鹅