机器学习
不一样的等待12305
放下浮躁,平心静气,踏踏实实的前行
展开
-
机器学习系列:变分推断
1. Introduction我们已经知道概率模型可以分为,频率派的优化问题和贝叶斯派的积分问题。从贝叶斯角度来看推断,对于 x^\hat{x}x^ 这样的新样本,需要得到: p(x^∣X)=∫θp(x^,θ∣X)dθ=∫θp(θ∣X)p(x^∣θ,X)dθ p(\hat{x}|X)=\int_\theta p(\hat{x},\theta|X)d\theta=\int_\theta p(\th...原创 2020-03-29 15:05:27 · 335 阅读 · 0 评论 -
机器学习系列:高斯混合模型(GMM)
文章目录1. Introduction2.极大似然估计3. EM求解GMM1. Introduction为了解决高斯模型的单峰性的问题,我们引入多个高斯模型的加权平均来拟合多峰数据:p(x)=∑k=1KαkN(μk,Σk) p(x)=\sum\limits_{k=1}^K\alpha_k\mathcal{N}(\mu_k,\Sigma_k) p(x)=k=1∑KαkN(μk,Σk) ...原创 2020-03-28 17:25:32 · 414 阅读 · 0 评论 -
机器学习系列:期望最大(EM)算法
1. 期望最大期望最大算法的目的是解决具有隐变量的混合模型的参数估计(极大似然估计)MLE 对 p(x∣θ)p(x|\theta)p(x∣θ) 参数的估计记为:θMLE=argmaxθlogp(x∣θ)\theta_{MLE}=\mathop{argmax}\limits_\theta\log p(x|\theta)θMLE=θargmaxlogp(x∣θ)。EM 算法对这个问题的解决方法...原创 2020-03-28 15:17:25 · 286 阅读 · 0 评论 -
机器学习系列:概率图模型
文章目录1. Introduction2. 有向图-贝叶斯网络3.无向图-马尔科夫网络(马尔科夫随机场)4 两种图的转换-道德图5 因子图1. Introduction概率图模型使用图的方式表示概率分布。为了在图中添加各种概率,首先总结一下随机变量分布的一些规则:Sum Rule:p(x1)=∫p(x1,x2)dx2Product Rule:p(x1,x2)=p(x1∣x...原创 2020-03-28 13:20:33 · 215 阅读 · 0 评论 -
机器学习系列:SVM
支撑向量机支撑向量机(SVM)算法在分类问题中有着重要地位,其主要思想是最大化两类之间的间隔。按照数据集的特点:线性可分问题,如之前的感知机算法处理的问题线性可分,只有一点点错误点,如感知机算法发展出来的 Pocket 算法处理的问题非线性问题,完全不可分,如在感知机问题发展出来的多层感知机和深度学习这三种情况对于 SVM 分别有下面三种处理手段:hard-margin SVM...原创 2020-03-28 12:13:36 · 162 阅读 · 0 评论 -
机器学习系列:降维
我们知道,解决过拟合的问题除了正则化和添加数据之外,降维就是最好的方法。降维的思路来源于维度灾难的问题,我们知道 nnn 维球的体积为: CRn CR^n CRn 那么在球体积与边长为 2R2R2R 的超立方体比值为: limn→0CRn2nRn=0 \lim\limits_{n\rightarrow0}\frac{CR^n}{2^nR^n}=0 n→0lim2nRnCRn=0这就是所谓的...原创 2020-03-25 21:10:33 · 310 阅读 · 0 评论 -
机器学习系列:回归问题
1. 线性分类介绍线性分类通常分为两种硬分类,我们直接输出预测观测值的类别,模型代表:线性判别分析感知机软分类,生成不同类别的概率,这类算法分为两种a. 生成式:* 高斯判别分析* 朴素Bayesb.判别式:* Logistic 回归这里解释一下什么是判别式,什么是生成式。现在假设我们要计算p(y∣x)p(y|x)p(y∣x)生成式:根据贝叶斯定理先计算参数后验概...原创 2020-03-24 21:45:20 · 197 阅读 · 0 评论 -
机器学习系列:线性回归
1. 基本的线性回归假设数据集为: D=(x1,y1),(x2,y2),⋯ ,(xN,yN) \mathcal{D}={(x_1, y_1),(x_2, y_2),\cdots,(x_N, y_N)} D=(x1,y1),(x2,y2),⋯,(xN,yN)要注意,这里的xix_ixi表示的是(xi1,xi2,⋯ ,xim)(x_{i1},x_{i2},\cdots,x_{im})(...原创 2020-03-24 18:33:37 · 129 阅读 · 0 评论