__3.3 Probability&Statistics
文章平均质量分 53
汐雪池间
计算机科学与技术 -> 数据科学与工程 -> 大数据工程师
展开
-
概率图模型(PGM)-LDA 隐含狄利克雷分布学习记录
LDA贝叶斯概率模型:先验概率+观察数据 -> 后验概率LDA以其灵活地对主题的分布进行概率估计,被广泛应用于主题模型抽取之中。这里仅列举概念和读过的资料,具体内容不赘述。多种语言中已经实现过此算法。总之,这是一个好用但不好吃透的算法,最后得到的也只是近似最优解。涉及到的知识多项分布狄利克雷函数马尔科夫链:平稳转移矩阵,收敛吉布斯采样ReferenceLda数学八卦-靳志辉通俗理解 L原创 2017-12-06 22:24:45 · 1111 阅读 · 0 评论 -
机器学习——朴素贝叶斯法提要
机器学习——朴素贝叶斯法提要朴素贝叶斯方法相较于其他机器学习方法,原理简单,实现方便,效率较高,学术领域内常用作baseline同其他方法进行比较。理论依据贝叶斯定理 P(Bi|A)=P(Bi)P(A|Bi)∑nj=1P(Bj)P(A|Bj)P(Bi|A)=P(Bi)P(A|Bi)∑j=1nP(Bj)P(A|Bj)P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\...原创 2018-06-04 20:43:50 · 166 阅读 · 0 评论 -
信息论的基本概念比较:自信息、香浓熵、微分熵、相对熵、交叉熵
信息论的基本想法是一个不太可能的事件居然发生了,要比一个非常可能的事件发生,能提供更多的信息。希望能有一种量化信息的方法,并且具备一些性质,如: • 非常可能发生的事件信息量要比较少,并且极端情况下,确保能够发生的事件 应该没有信息量。 • 较不可能发生的事件具有更高的信息量。 • 独立事件应具有增量的信息。例如,投掷的硬币两次正面朝上传递的信息量, 应该是投掷一次硬币正面朝上的信息...原创 2018-09-04 14:46:03 · 6663 阅读 · 1 评论 -
概率中的独立与相关:相互独立、条件独立、协方差、相关系数
概率论与数理统计学习笔记。小记变量之间的(线性)相关性,独立性。原创 2018-09-03 14:35:43 · 32256 阅读 · 1 评论