- 博客(4)
- 收藏
- 关注
原创 次梯度与次微分
次梯度与次微分问了看懂为什么在logistic regression 里面加上正则化可以约束待估计的参数的稀疏性,需要对凸优化方法里面的部分知识,现在记录一下这方面的内容既然是凸优化,首先就要有一个凸函数,看下面的定义设是一个凸函数,并且 是一个凸集。如果f是可微的,那么可以得到下面的表达式:其中, ,表示在的微分,可以看出,不等式右边其实就是普通的一阶微分的近似表示,那么
2013-12-31 18:01:40 11576 3
原创 最大熵方法推导波尔兹曼分布
最大熵方法推导波尔兹曼分布信息熵,不确定度的描述,熵增加,不确定度增加,熵减小,不确定度减小。离散型随机变量的信息熵考虑一个一维的离散的随机变量X(此处不考虑扩展到多维的情况),可以取离散的值,对应的概率分别为则离散型随机变量的信息熵为:连续型随机变量的信息熵考虑一个一维的连续型的随机变量X,若它的概率密度分布函数为f(x),那X在(a,b)之间的信息熵为:
2013-12-29 12:02:24 3388
原创 最大熵方法求概率密度函数
最大熵方法与概率密度估计http://www.docin.com/p-297885265.html离散型随机变量的信息熵考虑一个一维的离散的随机变量X(此处不考虑扩展到多维的情况),可以取离散的值,对应的概率分别为则离散型随机变量的信息熵为:连续型随机变量的信息熵考虑一个一维的连续型的随机变量X,若它的概率密度分布函数为f(x),那X在(a,b)之间的信息熵为:
2013-12-25 16:44:57 9693 5
原创 GMM 与 KDE 区别与联系
GMM 与 KDE 区别与联系对拿到一堆数据,可以通过KDE 方法来估计概率密度,Parzen 窗方法 通过不同的窗口作为基地,用函数逼近的思路来逼近真实的分布函数混合高斯模型,同样也用了多个高斯分布做了线性组合这两者之间是一样的么?
2013-12-19 13:59:16 3757
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人