- 博客(19)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 机器学习-白板推导系列笔记（十八）-GN
此文章主要是结合哔站shuhuai008大佬的白板推导视频：高斯网络_80min全部笔记的汇总贴：机器学习-白板推导系列笔记一、总体介绍高斯网络（Gaussian Network，高斯图模型）PGM（probabilistic graphical model）{GN（gaussian network）（连续）{GNN（gaussian bayesian network）GMN（gaussian markov network）（不连续）{BN（bayesian network）MN（
2020-12-31 16:27:27
470
原创 机器学习-白板推导系列笔记（十七）-CRF
此文章主要是结合哔站shuhuai008大佬的白板推导视频：条件随机场_227min全部笔记的汇总贴：机器学习-白板推导系列笔记一、背景对于解决分类任务的模型，根据他的输出，我们可以将其划分为硬分类和软分类两种。硬分类：即输出即为确值（对于二分类就是0 or 1）SVM（支持向量机）：几何角度，max margin classifier，最大支持向量的几何间隔驱动的。约束为：{minw,b12wTws.t. yi(wTxi+b)≥1,i=1,2,⋯ ,N\left\{\begin{mat
2020-12-29 18:43:54
738
原创 机器学习-白板推导系列笔记（三）-线性回归
此文章主要是结合哔站shuhuai008大佬的白板推导视频：线性回归_70min全部笔记的汇总贴：机器学习-白板推导系列笔记一、概述假设有以下数据：D={(x1,y1),(x2,y2),⋯ ,(xN,yN)}xi∈Rp,yi∈R,i=1,2,⋯ ,NX=(x1,x1,⋯ ,xN)T=(x1Tx2T⋮xNT)=(x11x12⋯x1px21x22⋯x2p⋮⋮⋱⋮xN1xN2⋯xNp)N×pY=(y1y2⋮yN)N×1D=\left \{(x_{1},y_{1}),(x_{2},y_{2}),\cdot
2020-12-26 23:04:48
1115
1
原创 机器学习-白板推导系列笔记（四）-线性分类
此文章主要是结合哔站shuhuai008大佬的白板推导视频：线性分类_180min全部笔记的汇总贴：机器学习-白板推导系列笔记一、从线性回归到线性分类(一)线性回归的特性下一章传送门：推导系列笔记（五）-降维参考文章线性分类|机器学习推导...
2020-12-26 22:49:06
970
原创 机器学习-白板推导系列笔记（五）-降维
此文章主要是结合哔站shuhuai008大佬的白板推导视频：降维_136min全部笔记的汇总贴：机器学习-白板推导系列笔记一、背景介绍（一）为什么需要降维数据的维度过高容易造成维数灾难（Curse of Dimensionality）。维数灾难：通常是指在涉及到向量的计算的问题中，随着维数的增加，计算量呈指数倍增长的一种现象。一个多维空间（以二维为例），则其中图形的体积有如下关系：V超立方体=1V_{超立方体}=1V超立方体=1V超球体=K⋅0.5D V_{超球体}=K\cdot 0.5^
2020-12-26 19:49:06
777
1
原创 机器学习-白板推导系列笔记（二）-数学基础
此文章主要是结合哔站shuhuai008大佬的白板推导视频：数学基础_150min一、概述假设有以下数据：X=(x1,x1,⋯ ,xN)T=(x1Tx2T⋮xNT)N×pX=(x_{1},x_{1},\cdots ,x_{N})^{T}=\begin{pmatrix} x_{1}^{T}\\ x_{2}^{T}\\ \vdots \\ x_{N}^{T} \end{pmatrix}_{N \times p}X=(x1,x1,⋯,xN)T=⎝⎜⎜⎜⎛x1Tx2T⋮xNT⎠⎟⎟⎟⎞N×
2020-12-26 18:50:01
2000
4
原创 机器学习-白板推导系列笔记（六）-SVM
此文章主要是结合哔站shuhuai008大佬的白板推导视频：支持向量机_178min一、硬间隔SVM（一）模型定义假设有以下数据：{(xi,yi)}i=1N,xi∈Rp,yi∈{+1,−1}\left \{(x_{i},y_{i})\right \}_{i=1}^{N},x_{i}\in \mathbb{R}^{p},y_{i}\in \{+1,-1\}{(xi,yi)}i=1N,xi∈Rp,yi∈{+1,−1}SVM的主要思想是在特征空间中寻找一个最大间隔的超平面wTx+bw^{T
2020-12-26 17:25:29
1034
原创 机器学习-白板推导系列笔记（一）-绪论
此文章主要是结合哔站shuhuai008大佬的白板推导视频：开篇_35min一、频率派 vs 贝叶斯派机器学习主要解决从数据中获取其概率分布的问题，通过一些机器学习的算法可以从大量数据中找到一定的规律，从而建立模型来解决实际问题，因此机器学习中主要使用数据来求解其参数：data:Xdata:Xdata:XX=[x1x2⋯xN]N×pT=[x11x12⋯x1px21x22⋯x2p⋮⋮⋱⋮xN1xN2⋯xNp]N×pX= \left[ \begin{matrix} x_1 & x_2 &
2020-12-26 16:42:21
1889
2
原创 机器学习-白板推导系列笔记（七）-核方法
此文章主要是结合哔站shuhuai008大佬的白板推导视频：核方法_101min一、线性不可分问题有时线性可分的数据夹杂一点噪声，可以通过改进算法来实现分类，比如感知机的口袋算法和支持向量机的软间隔。但是有时候数据往往完全不是线性可分的，比如下面这种情况：在异或问题中数据往往不是线性可分的，但通过将数据映射到高维空间后就可以实现线性可分。可以认为高维空间中的数据比低维空间的数据更易线性可分。对于异或问题，我们可以通过寻找一个映射ϕ(x)\phi (x)ϕ(x)将低维空间中的数据xxx映射成高维空间中
2020-12-26 16:15:26
564
原创 机器学习-白板推导系列笔记（八）-指数族分布
此文章主要是结合哔站shuhuai008大佬的白板推导视频：指数族分布_101min一、背景介绍（一）一般形式指数族分布有：高斯分布、伯努利分布、二项分布、泊松分布、beta分布、Dirichlet分布、gamma分布等。指数族分布的一般形式：P(x∣η)=h(x)exp{ηTϕ(x)−A(η)}P(x|\eta )=h(x)exp\left \{\eta ^{T}\phi (x)-A(\eta )\right \}P(x∣η)=h(x)exp{ηTϕ(x)−A(η)}其中：①η：参数向
2020-12-26 15:58:20
821
1
原创 机器学习-白板推导系列笔记（九）-概率图模型
此文章主要是结合哔站shuhuai008大佬的白板推导视频：概率图模型_297minPS：本次课程所提及的内容，在后面的章节都有讲解，可以先跳过，然后在看完粒子滤波这一章的时候进行回顾复习，我到时候也会在那一章的最后放一个传送门过来的。一、概述（一）概率图模型的知识体系概率图{Representation(表示){有向图 Beyesian Network高斯图（连续）{Gaussian BNGaussian MN无向图 Markov NetworkInference(推断){精确推断近似
2020-12-25 11:11:54
1105
1
原创 机器学习-白板推导系列笔记（十六）-粒子滤波
此文章主要是结合哔站shuhuai008大佬的白板推导视频：粒子滤波_98min一、背景介绍动态模型是在概率图模型中加入一个时间序列的标记，样本之间不再是独立同分布，而是有了依赖关系。动态模型其实质是一个混合模型，我们看到的样本序列是观测序列，每一个观测值，背后都对应一个隐变量，称隐变量为系统状态，所以动态模型也称状态空间模型。动态模型有两个假设，齐次马尔可夫假设，对于隐变量，给定ZtZ_tZt的情况下，Zt+1Z_{t+1}Zt+1和Zt−1Z_{t-1}Zt−1无关。观测独立假设，对
2020-12-24 23:23:21
511
1
原创 机器学习-白板推导系列笔记（汇总36/36）
这是一篇汇总贴文章主要是结合哔站shuhuai008大佬的白板推导视频：大佬的B站主页⋮\vdots⋮白板推导系列笔记（十二）-VI白板推导系列笔记（十三）-MCMC白板推导系列笔记（十四）-HMM边看边更…...
2020-12-24 17:37:18
7833
3
原创 机器学习-白板推导系列笔记（十四）-HMM
白板推导系列（十四）-HMM一、概述（一）背景（二）HMM的概率图模型（三）两个假设1、齐次马尔可夫假设2、观察独立假设（四）三个问题1、Evaluation2、Learning3、Decoding二、Evaluation问题（一）前向算法（二）后向算法三、Learning问题四、Decoding问题五、总结（一）Filtering问题（二）Smoothing问题（三）Prediction问题此文章主要是结合哔站shuhuai008大佬的白板推导视频：HMM_173min一、概述（一）背景概率图分为
2020-12-24 17:37:12
612
原创 机器学习-白板推导系列笔记（十二）-变分推断（VI）
白板推导系列（十二）-VI变分推断一、背景二、公式三、联系EM算法四、随机梯度变分推断（SGVI）（一）直接求导（二）重参数化技巧此文章主要是结合哔站shuhuai008大佬的白板推导视频： VI变分推断_126min一、背景对于概率模型从频率派角度来看就会是一个优化问题从贝叶斯角度来看就会是一个积分问题从贝叶斯来看p(x^∣x)=∫θp(x^,θ∣x)dθ=∫θp(x^∣θ,x)p(θ∣x)dθ=∫θp(x^∣θ)p(θ∣x)dθ=Eθ∣x[p(x^∣θ)]p(\hat{x}|x)=\i
2020-12-24 17:37:04
725
原创 机器学习-白板推导系列笔记（十三）-MCMC
白板推导系列（十三）-MCMC一、蒙特卡洛方法1.概率分布采样2.拒绝采样（Rejection Sampling）3.概率分布采样（Importance Sampling）一、蒙特卡洛方法蒙特卡洛方法（Monte Carlo Method）：基于采样的随机近似方法。该方法旨在求得复杂概率分布下的期望值：其中 ziz_izi 是从概率分布 p(z∣x)p( z|x )p(z∣x) 中取的样本，也就是从概率分布中取NNN个点来近似计算这个积分。1.概率分布采样a.求得概率密度函数PDF的累计密
2020-12-24 17:36:58
782
1
原创 机器学习-白板推导系列笔记（十一）-GMM
此文章主要是结合哔站shuhuai008大佬的白板推导视频：GMM_95min一、模型介绍（一）几何角度可以认为高斯混合模型是将多个高斯分布加权平均而成的模型：p(x)=∑k=1KαkN(μk,Σk),∑k=1Kαk=1p(x)=\sum_{k=1}^{K}\alpha _{k}N(\mu _{k},\Sigma _{k}),\sum_{k=1}^{K}\alpha _{k}=1p(x)=k=1∑KαkN(μk,Σk),k=1∑Kαk=1（二）混合模型（或者生成模型）角度可以认为
2020-12-24 17:36:43
618
原创 机器学习-白板推导系列笔记（十）-EM算法
此文章主要是结合哔站shuhuai008大佬的白板推导视频：EM_100min一、EM算法简介假设有如下数据：XXX:observed dataZZZ:unobserved data(latent variable)(X,Z)(X,Z)(X,Z):complete dataθ\thetaθ:parameterEM算法的目的是解决具有隐变量的参数估计（MLE、MAP）问题。EM算法是一种迭代更新的算法，其计算公式为：θt+1=Ez∣x,θt[log p(x,z∣θ)]=argmaxθ∫
2020-12-24 17:36:07
753
原创 机器学习-白板推导系列笔记（十五）-卡曼滤波
此文章主要是结合哔站shuhuai008大佬的白板推导视频：卡曼滤波_59min一、背景介绍线性动态系统，也称为卡曼滤波（Kalman Filter），是一种线性高斯模型。线性体现在上一时刻和这一时刻的隐变量以及隐变量和观测变量之间，表示为：zt=A⋅zt−1+B+εxt=C⋅zt+D+δε∼N(0,Q)δ∼N(0,R)z_{t}=A\cdot z_{t-1}+B+\varepsilon \\ x_{t}=C\cdot z_{t}+D+\delta \\ \varepsilon \sim N(0,
2020-12-24 17:35:54
516
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人