随机采样和随机模拟:吉布斯采样Gibbs Sampling

为什么要用吉布斯采样什么是sampling? sampling就是以一定的概率分布,看发生什么事件。举一个例子。甲只能E:吃饭、学习、打球,时间T:上午、下午、晚上,天气W:晴朗、刮风、下雨。现在要一个sample,这个sample可以是:打球+下午+晴朗。吉布斯采样的通俗解释?问题是我们不知道p...

2018-03-21 09:33:05

阅读数 382

评论数 0

LDA-math-MCMC 和 Gibbs Sampling

3.1 随机模拟 随机模拟 (或者统计模拟) 方法有一个很酷的别名是蒙特卡罗方法(Monte Carlo Simulation)。这个方法的发展始于 20 世纪 40 年代,和原子弹制造的曼哈顿计划密切相关,当时的几个大牛,包括乌拉姆、冯. 诺依曼、费米、费曼、Nicholas Metrop...

2018-02-03 12:58:59

阅读数 96

评论数 0

信息论:熵与互信息

http://blog.csdn.net/pipisorry/article/details/51695283 这篇文章主要讲:熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),互信息(m...

2018-01-05 11:25:25

阅读数 273

评论数 0

概率分布之间的距离度量以及python实现

概率分布之间的距离度量以及python实现 1. 欧氏距离(Euclidean Distance)        欧氏距离是最易于理解的一种距离计算方法,源自欧氏空间中两点间的距离公式。 (1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离: (2)三维空间两点a...

2017-11-23 18:23:35

阅读数 1656

评论数 0

sigmoid和softmax总结

sigmoid函数(也叫逻辑斯谛函数):   引用wiki百科的定义:   A logistic function or logistic curve is a common “S” shape (sigmoid curve).   其实逻辑斯谛函数也就是经常说的sigmoid函数,...

2017-05-22 19:44:18

阅读数 327

评论数 0

numpy 数组和矩阵的乘法的理解

1. 当为array的时候,默认d*f就是对应元素的乘积,multiply也是对应元素的乘积,dot(d,f)会转化为矩阵的乘积,  2. 当为mat的时候,默认d*f就是矩阵的乘积,multiply转化为对应元素的乘积,dot(d,f)为矩阵的乘积            3. 混合时候...

2017-05-20 15:08:43

阅读数 36481

评论数 1

互信息(Mutual Information)

本文根据以下参考资料进行整理:   1.维基百科:https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF   2.新浪博客:http://blog.sina.com.cn/s/blog_6255d20d0100ex51.html  ...

2017-05-20 11:54:57

阅读数 1527

评论数 0

互信息(Mutual Information)的介绍

[+] 概念 互信息,Mutual Information,缩写为MI,表示两个变量X与Y是否有关系,以及关系的强弱。 公式 我们定义互信息的公式为: I(X,Y)=∫X∫YP(X,Y)logP(X,Y)P(X)P(Y) 可以看出,如果X与Y独立,则P(X,Y)=P...

2017-05-20 11:54:14

阅读数 7708

评论数 0

偏差,方差,训练误差,测试误差的区别

偏差:就是预测值的期望 离所有被预测的样本的真实值的``距离的期望。 刻画了学习算法本身的拟合能力。  方差:就是预测值的期望离所有被预测的样本的预测值的“距离的期望。刻画了数据扰动所造成的影响。  预测值的期望就好像测试集所有点的中心。 注意 我们在实际中,为评价模型的好坏,...

2017-05-19 20:44:09

阅读数 499

评论数 0

Hoeffding不等式

Hoeffding不等式是关于一组随机变量均值的概率不等式。 如果X1,X2,⋯,Xn为一组独立同分布的参数为p的伯努利分布随机变量,n为随机变量的个数。定义这组随机变量的均值为: 对于任意δ>0, Hoeffding不等式可以表示为 上面的公式似乎写的不是很...

2017-05-19 14:10:45

阅读数 2180

评论数 0

优化中的subgradient方法

版权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[+] 哎,刚刚submit上paper比较心虚啊,无心学习,还是好好码码文字吧。 subgradient介绍 subgradient中文名叫次梯度,和梯度一样,完全可以多放梯度使用,至于为...

2017-05-19 10:54:34

阅读数 187

评论数 0

次导数 次梯度 小结

.导数(Derivative)的定义 在说次梯度之前,需要先简单介绍一下导数的概念与定义。导数(英语:Derivative)是微积分学中重要的基础概念。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。  对于一般的函数f(x),...

2017-05-19 10:53:05

阅读数 220

评论数 0

解密SVM系列(二):SVM的理论基础

上节我们探讨了关于拉格朗日乘子和KKT条件,这为后面SVM求解奠定基础,本节希望通俗的细说一下原理部分。 一个简单的二分类问题如下图:    我们希望找到一个决策面使得两类分开,这个决策面一般表示就是WTX+b=0,现在的问题是找到对应的W和b使得分割最好,知道logistic分类 机器...

2017-05-18 14:20:02

阅读数 254

评论数 0

SVM入门(七)为何需要核函数

生存?还是毁灭?——哈姆雷特 可分?还是不可分?——支持向量机 之前一直在讨论的线性分类器,器如其名(汗,这是什么说法啊),只能对线性可分的样本做处理。如果提供的样本线性不可分,结果很简单,线性分类器的求解程序会无限循环,永远也解不出来。这必然使得它的适用范围大大缩小,而它的很多优点我们实在不...

2017-05-18 12:33:50

阅读数 113

评论数 0

核函数(Kernels)

7 核函数(Kernels) 考虑我们最初在“线性回归”中提出的问题,特征是房子的面积x,这里的x是实数,结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线,那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维,然后寻找特征和结果之间的模型。我们将这种特...

2017-05-18 12:29:22

阅读数 219

评论数 0

总结一下遇到的各种核函数~

由于之前做了很多核方法相关的子空间学习算法,本文打算对各种核函数进行一下简要的介绍,希望对大家能够有所帮助。   首先,再对核方法的思想进行描述,核函数的思想是一个伟大的想法,它工作简练巧妙的映射,解决了高维空间中数据量庞大的问题,在机器学习中是对算法进行非线性改进的利器。如下,如果在...

2017-05-18 12:16:38

阅读数 2012

评论数 0

写在SVM之前——凸优化与对偶问题

本篇是写在SVM之前的关于优化问题的一点知识,在SVM中会用到。考虑到SVM之复杂,将其中优化方面基础知识提出,单作此篇。所以,本文也不会涉及优化问题的许多深层问题,只是个人知识范围内所了解的SVM中涉及到的优化问题基础。 一、凸优化问题 在优化问题中,凸优化问题由于具有优良的性质(局...

2017-05-18 12:07:50

阅读数 666

评论数 0

凸优化-对偶问题

很高兴阿森纳能在欧冠上战胜拜仁,在虎扑上看到这样的一句话,颇有感触,借来作为这篇博文的开始,生活中我们需要一些勇气去追寻自己的理想。回到本篇内容上,对偶是个神奇的东西,从文学角度而言,对偶和对仗属于一种修辞手法,即用字数相等,语义对称的方法来表征想法或抒发情感。“凡心所向,素履所往,生如逆旅,一苇...

2017-05-18 12:00:36

阅读数 14195

评论数 5

深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件

在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才...

2017-05-18 11:53:47

阅读数 512

评论数 0

拉格朗日对偶

本文承接上一篇 约束优化方法之拉格朗日乘子法与KKT条件,将详解一些拉格朗日对偶的内容。都是一些在优化理论中比较简单的问题或者一些特例,复杂的没见过,但是简单的刚接触都感觉如洪水猛兽一般,所以当真是学海无涯。 在优化理论中,目标函数 f(x)f(x) 会有多种形式:如果目标函数和约束条件都为...

2017-05-18 11:52:20

阅读数 320

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭