- 博客(7)
- 收藏
- 关注
RSS订阅原创 PRML 模式识别与机器学习 问题答案 2.15
题目请展示多元高斯分布N(x∣μ,Σ)N(x| \mu, \Sigma)N(x∣μ,Σ)的熵(enrtopy)是H[x]=12log∣Σ∣+D2(1+log(2π))H[x]=\frac{1}{2}\log |\Sigma| + \frac{D}{2}(1+\log(2\pi))H[x]=21log∣Σ∣+2D(1+log(2π))DDD是xxx的维度。答案这道题有两种解答的方式...
2019-06-06 08:39:32
714
原创 PRML 模式识别与机器学习 问题答案 2.14
题目这道题的目标是去展示，在给定协方差矩阵(Covarience Matrix)的情况下，熵(Entropy)最大的多元分布是高斯分布(Gaussian Distribution)。首先给出对于某一个分布的熵p(x)p(x)p(x)为:p(x)=−∫p(x)lnp(x)dxp(x) = -\int p(x)\ln p(x)dxp(x)=−∫p(x)lnp(x)dx我们希望在p(x)p(x)...
2019-06-05 00:13:35
686
原创 softmax与交叉熵(Cross Entropy)的区别与联系
最初的疑惑看到一篇关于训练词向量的论文当中提到了用CBOW训练词向量时，目标是使用上下文推断缺失词的后验概率最大，目标函数是后验概率，而后验概率的表示为softmax，也就是下面的公式P(wj∣wI)=exp(vjTvI)∑j′=1nexp(vj′TvI)P(w_j|w_I)=\frac{exp(v_j^Tv_I)}{\sum_{j'=1}^n exp(v_{j&#...
2019-05-26 22:09:12
3204
2
原创 贝叶斯理论与函数拟合，最大似然与损失函数
还在施工当中。。。最初的疑惑在李航老师的统计机器学习当中，提到了机器学习的目标或者说求解的方向，这个目标分为两种形式：机器学习是要去学习一个目标函数fff或者说一个假设hhh，这个函数fff或者假设hhh可以正确分类数据或者正确拟合数据机器学习是要去学习一个概率分布P(h∣D)P(h|D)P(h∣D)，这个概率表达式的含义是在给定数据集DDD上，假设hhh是正确的概率是什么多少，我们只需...
2019-05-19 17:14:11
1855
原创 偏导，方向导数以及梯度的理解
最初的疑惑在梯度的Wiki 上对梯度在三维空间，直角坐标系下的梯度表示为∇=∂f(x,y,z)∂x∗i⃗+∂f(x,y,z)∂y∗j⃗+∂f(x,y,z)∂z∗k⃗\nabla = \frac{\partial{f(x, y, z)}}{\partial{x}}*\vec{i}+\frac{\partial{f(x, y, z)}}{\partial{y}}*\vec{j}+\frac{\p...
2019-05-13 00:37:23
3098
原创 数学期望的另一种理解
今天遇到了一个关于数学期望的问题，发现了期望一个有意思的理解方式。问题背景：在袋子里面有10个球，4个红球，6个蓝球，每次抓取一个球，问抓4次球，每次都放回，抓到红球的次数的期望是多少。期望定义期望是每次实验 ∑可能的结果∗出现的概率\sum{可能的结果 * 出现的概率}∑可能的结果∗出现的概率解决方法1：我们认为实验指的是抓四次球，所以需要知道P(红球数=0)P...
2019-05-09 00:09:55
1161
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人