机器学习常用算法（LDA,CNN,LR）原理简述

最新推荐文章于 2024-08-05 11:09:30 发布

webary

最新推荐文章于 2024-08-05 11:09:30 发布

阅读量1w

点赞数 2

本文链接：https://blog.csdn.net/u011089209/article/details/52613773

版权

本文简要介绍了机器学习中的三种重要算法：LDA（Latent Dirichlet Allocation）、CNN（Convolutional Neural Networks）和LR（Logistic Regression）。LDA是一种三层贝叶斯模型，用于主题建模。CNN主要用于图像处理，其结构特点包括卷积层、子抽样层，具有权值共享和局部连接。LR是线性模型，适用于二分类问题，通过sigmoid函数转换输出为概率值。文章详细阐述了这三个算法的基本原理和应用场景。

摘要由CSDN通过智能技术生成

1.LDA

LDA是一种三层贝叶斯模型，三层分别为：文档层、主题层和词层。该模型基于如下假设：
1）整个文档集合中存在k个互相独立的主题；
2）每一个主题是词上的多项分布；
3）每一个文档由k个主题随机混合组成；
4）每一个文档是k个主题上的多项分布；
5）每一个文档的主题概率分布的先验分布是Dirichlet分布；
6）每一个主题中词的概率分布的先验分布是Dirichlet分布。
文档的生成过程如下：
1）对于文档集合M，从参数为β的Dirichlet分布中采样topic生成word的分布参数φ；
2）对于每个M中的文档m，从参数为α的Dirichlet分布中采样doc对topic的分布参数θ；
3）对于文档m中的第n个词语W_mn，先按照θ分布采样文档m的一个隐含的主题Z_m，再按照φ分布采样主题Z_m的一个词语W_mn。

因此整个模型的联合分布，如下：

对联合分布求积分，去掉部分隐变量后：

用间接计算转移概率可以消除中间参数θ和φ，所以主题的转移概率化为：

这样我们就可以通过吉布斯采样来进行每轮的迭代，迭代过程即：首先产生于一个均匀分布的随机数，然后根据上式计算每个转移主题的概率，通过累积概率判断随机数落在哪个new topic下，更新参数矩阵，如此迭代直至收敛。