自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

omadesala的专栏

机器学习 编程经验

  • 博客(4)
  • 收藏
  • 关注

原创 次梯度与次微分

次梯度与次微分问了看懂为什么在logistic regression 里面加上正则化可以约束待估计的参数的稀疏性,需要对凸优化方法里面的部分知识,现在记录一下这方面的内容既然是凸优化,首先就要有一个凸函数,看下面的定义设是一个凸函数,并且 是一个凸集。如果f是可微的,那么可以得到下面的表达式:其中, ,表示在的微分,可以看出,不等式右边其实就是普通的一阶微分的近似表示,那么

2013-12-31 18:01:40 11527 3

原创 最大熵方法推导波尔兹曼分布

最大熵方法推导波尔兹曼分布信息熵,不确定度的描述,熵增加,不确定度增加,熵减小,不确定度减小。离散型随机变量的信息熵考虑一个一维的离散的随机变量X(此处不考虑扩展到多维的情况),可以取离散的值,对应的概率分别为则离散型随机变量的信息熵为:连续型随机变量的信息熵考虑一个一维的连续型的随机变量X,若它的概率密度分布函数为f(x),那X在(a,b)之间的信息熵为:

2013-12-29 12:02:24 3347

原创 最大熵方法求概率密度函数

最大熵方法与概率密度估计http://www.docin.com/p-297885265.html离散型随机变量的信息熵考虑一个一维的离散的随机变量X(此处不考虑扩展到多维的情况),可以取离散的值,对应的概率分别为则离散型随机变量的信息熵为:连续型随机变量的信息熵考虑一个一维的连续型的随机变量X,若它的概率密度分布函数为f(x),那X在(a,b)之间的信息熵为:

2013-12-25 16:44:57 9649 5

原创 GMM 与 KDE 区别与联系

GMM 与 KDE 区别与联系对拿到一堆数据,可以通过KDE 方法来估计概率密度,Parzen 窗方法 通过不同的窗口作为基地,用函数逼近的思路来逼近真实的分布函数混合高斯模型,同样也用了多个高斯分布做了线性组合这两者之间是一样的么?

2013-12-19 13:59:16 3739

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除