机器学习
Zicon in广工
GDUTer,大三
展开
-
高斯混合模型(GMM)推导
数据表示如下:XXX:观测数据,X={x1,x2,...,xN}X=\{x_1,x_2,...,x_N\}X={x1,x2,...,xN}(X,Z)(X,Z)(X,Z):complete data,(X,Z)={(x1,z1),(x2,z2),...,(xN,zN)}(X,Z)=\{(x_1,z_1),(x_2,z_2),...,(x_N,z_N)\}(X,Z)={(x1,z1),(x2,z2),...,(xN,zN)}θ\thetaθ:参数,θ={P1,...,Pk,μ1,....原创 2020-12-26 22:01:11 · 1185 阅读 · 0 评论 -
指数族分布
写在前面:本文只是对暂时学到的指数族分布的理论知识进行总结,至于指数族分布在实际机器学习中的具体应用,等后续学习到了再进行补充,也欢迎有经验的大佬赐教~文章将按照下面的思路进行:第一章首先给出指数族分布通用的 pdf 的表达式,简单介绍什么是充分统计量和对数配分函数;接着将一元高斯分布的 pdf 改写成指数族分布的通用形式,以加深对该 pdf 的理解;第二章通过两种方式推导指数族分布的 pdf 中充分统计量和对数配分函数的关系:一种是直接在 pdf 上进行推导,另一种是通过极大似然估计的方式进行.原创 2020-12-23 22:21:09 · 1818 阅读 · 0 评论 -
EM算法总结:从 ELBO + KL散度出发
一、概述假设有如下数据:X : observed dataZ : latent variable(X,Z) : complete dataθ\thetaθ : parameterEM算法的目的是解决解决带有隐变量的参数估计问题(MLE,MAP),从 ELBO + KL 散度角度来看,EM算法主要是迭代以下两个步骤:二、收敛性证明以下两个定理能够保证EM算法的收敛性:这里主要证明一下定理9.1:三、算法的导出这里主要从 ELBO + KL散度的角度进行EM算法原创 2020-12-07 20:45:27 · 1611 阅读 · 0 评论 -
《统计学习方法》-决策树
注:文本是学习完《统计学习方法》后的回顾总结,且决策树的思想都比较简单,因此本文只讲做法文章目录1. ID3算法2. C4.5算法3. ID3与C4.5算法的剪枝4. CART算法4.1 回归树4.2 分类树5. CART的剪枝一般来说,ID3与C4.5生成的决策树只用于分类,CART决策树则分类和回归问题都能使用1. ID3算法ID3算法中最关键的一点就是如何选择特征去划分子集:答案就是信息增益,具体如下:计算划分之前,数据集D的熵H(D):H(D)=−∑k=1K∣Dk∣∣D∣log∣.原创 2020-07-19 18:30:41 · 313 阅读 · 0 评论 -
多项式朴素贝叶斯算法
注:本文主要由《统计学习方法》整理而来,文中公式所针对的是多项式朴素贝叶斯模型一、朴素贝叶斯的学习与分类朴素贝叶斯的算法分成以下两步:基于条件独立假设,计算联合分布基于贝叶斯定理,针对输入x,求出后验概率最大的输出y因此下面也从这两个步骤来解析朴素贝叶斯算法。1.1 联合分布的计算由P(X,Y)=P(X∣Y)P(Y)P(X,Y)=P(X|Y)P(Y)P(X,Y)=P(X∣Y)P(Y)可得,联合分布的计算可转换为求P(X∣Y),P(Y)P(X|Y),P(Y)P(X∣Y),P(Y)两项,而.原创 2020-07-16 17:20:59 · 4233 阅读 · 0 评论 -
深入浅出PageRank算法
文章目录一、引例二、有向图三、随机游走模型四、PageRank算法的基本定义五、PageRank算法的一般定义六、PageRank的计算6.1 幂法6.2 迭代法6.3 代数法注:文本主要是学习完统计学习方法的复习概括一、引例出国留学时,如果带有教授的推荐信,往往能起到事半功倍的作用,那如何定义一封推荐信能帮我们自身提高多大的竞争力呢?主要取决于两部分因素:教授自身的影响力:给你写推荐信的教授越权威,那么他的推荐信就越能帮你证明你的实力教授给多少人写了推荐信:即便一个教授很权威,如果他给全世界每原创 2020-07-15 23:22:11 · 1403 阅读 · 0 评论 -
[转载]浅谈全概率公式和贝叶斯公式
一、条件概率公式 举个例子,比如让你背对着一个人,让你猜猜背后这个人是女孩的概率是多少?直接猜测,肯定是只有50%的概率,假如现在告诉你背后这个人是个长头发,那么女的概率就变为90%。所以条件概率的意义就是,当给定条件发生变化后,会导致事件发生的可能性发生变化。 条件概率由文氏图出发,比较容易理解: &nbs...转载 2019-05-25 11:54:58 · 862 阅读 · 0 评论 -
线性回归公式推导总结
1.预测函数:2.代价函数:假设每一个对象的预测值与真实值的误差为ε,即:则由中心极限定理可知:当样本数量很多时,可假设误差ε的分布符合均值μ=0,方差为σ^2的高斯分布,即:现在的任务是在所有可能的θ中,寻找一个最适合的θ,使得误差ε呈高斯分布的可能性最大,则由似然函数有:对等式两边同时取对数求极大似然,即:综上,代价函数为:三、梯度下降:...原创 2019-06-03 20:19:21 · 696 阅读 · 1 评论 -
逻辑回归公式推导
一、预测函数:1.第一个式子称为sigmoid函数,先了解一下sigmoid函数:通过sigmoid函数与线性回归预测函数的联立,即可得到逻辑回归的预测函数2.即是说,逻辑回归的预测函数实际上是:①通过线性回归的预测函数得到一个预测值(连续值)②接着把这个连续值丢进sigmoid函数得到一个概率值(0到1之间)③若概率值大于0.5,归为一类;若概率值小于0.5,归为一类(...原创 2019-06-03 20:20:18 · 374 阅读 · 1 评论