- 博客(4)
- 收藏
- 关注
RSS订阅原创 次梯度与次微分
次梯度与次微分问了看懂为什么在logistic regression 里面加上正则化可以约束待估计的参数的稀疏性，需要对凸优化方法里面的部分知识，现在记录一下这方面的内容既然是凸优化，首先就要有一个凸函数，看下面的定义设是一个凸函数，并且 是一个凸集。如果f是可微的，那么可以得到下面的表达式：其中， ,表示在的微分，可以看出，不等式右边其实就是普通的一阶微分的近似表示，那么
2013-12-31 18:01:40
11527
3
原创 最大熵方法推导波尔兹曼分布
最大熵方法推导波尔兹曼分布信息熵，不确定度的描述，熵增加，不确定度增加，熵减小，不确定度减小。离散型随机变量的信息熵考虑一个一维的离散的随机变量X（此处不考虑扩展到多维的情况），可以取离散的值,对应的概率分别为则离散型随机变量的信息熵为：连续型随机变量的信息熵考虑一个一维的连续型的随机变量X，若它的概率密度分布函数为f(x),那X在(a,b)之间的信息熵为：
2013-12-29 12:02:24
3347
原创 最大熵方法求概率密度函数
最大熵方法与概率密度估计http://www.docin.com/p-297885265.html离散型随机变量的信息熵考虑一个一维的离散的随机变量X（此处不考虑扩展到多维的情况），可以取离散的值,对应的概率分别为则离散型随机变量的信息熵为：连续型随机变量的信息熵考虑一个一维的连续型的随机变量X，若它的概率密度分布函数为f(x),那X在(a,b)之间的信息熵为：
2013-12-25 16:44:57
9649
5
原创 GMM 与 KDE 区别与联系
GMM 与 KDE 区别与联系对拿到一堆数据，可以通过KDE 方法来估计概率密度，Parzen 窗方法 通过不同的窗口作为基地，用函数逼近的思路来逼近真实的分布函数混合高斯模型，同样也用了多个高斯分布做了线性组合这两者之间是一样的么？
2013-12-19 13:59:16
3739
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人