机器学习
文章平均质量分 83
xiaochengJF
只是整理一些当笔记用
展开
-
机器学习算法笔记:目录
机器学习算法笔记前面大部分来源:【机器学习】【白板推导系列】【合集 1~23】,笔记主要参考Bilibili-机器学习白板系列,其它参考的大部分资料也均已列出,纯属个人笔记,如有不当之处,见谅!机器学习算法笔记代码谱聚类LDS线性动态系统(卡尔曼滤波)贝叶斯线性回归RBM受限玻尔兹曼机Particle Filter粒子滤波降维HMM隐马尔可夫模型SVM支持向量机线性分类GMM高斯混合模型EM期望最大原创 2020-05-29 09:33:41 · 315 阅读 · 0 评论 -
机器学习算法笔记:谱聚类
谱聚类聚类问题可以分为两种思路:Compactness,代表算法有 K-means,GMM 等(其实 K-means 也可以看作是 hard-GMM ),但只能处理凸集,为了处理非凸的样本集,必须引入核技巧Connectivity,以谱聚类为代表。定义谱聚类是一种基于无向带权图的聚类方法。图用 G=(V,E)G=(V,E)G=(V,E) 表示,其中G=(V,E){V={1,2,⋯ ...原创 2020-05-29 08:53:45 · 272 阅读 · 0 评论 -
机器学习算法笔记:LDS线性动态系统(卡尔曼滤波)
线性动态系统HMM 模型适用于隐变量是离散的值的时候,对于连续隐变量的 HMM,常用线性动态系统描述线性高斯模型的态变量,使用粒子滤波来表述非高斯非线性变量。LDS 又叫卡尔曼滤波,其中,线性体现在上一时刻和这一时刻的隐变量以及隐变量和观测之间:zt=A⋅zt−1+B+εxt=C⋅zt+D+δ} 线性+噪声ε∼N(0,Q) δ∼N(0,R)}高斯分布噪声 \begin{a...原创 2020-05-29 08:51:11 · 3306 阅读 · 2 评论 -
机器学习算法笔记:贝叶斯线性回归
贝叶斯线性回归线性回归当噪声为高斯分布的时候,最小二乘损失导出的结果相当于对概率模型应用 MLE,引入参数先验分布是高斯分布,那么 MAP的结果相当于岭回归的正则化,如果先验是拉普拉斯分布,那么相当于 Lasso 的正则化。利用贝叶斯方法来求解参数的后验分布,线性回归的模型假设为:f(x)=wTxy=f(x)+εε∼N(0,σ2) \begin{aligned}f(x)=w^Tx \\ ...原创 2020-05-29 08:49:34 · 959 阅读 · 0 评论 -
机器学习算法笔记:RBM受限玻尔兹曼机
受限玻尔兹曼机玻尔兹曼机是一种存在隐节点的无向图模型。在图模型中最简单的是朴素贝叶斯模型(朴素贝叶斯假设),引入单个隐变量后,发展出了 GMM,如果单个隐变量变成序列的隐变量,就得到了状态空间模型(引入齐次马尔可夫假设和观测独立假设就有HMM,Kalman Filter,Particle Filter),为了引入观测变量之间的关联,引入了一种最大熵模型-MEMM,为了克服 MEMM 中的局域问题...原创 2020-05-29 08:48:08 · 335 阅读 · 0 评论 -
机器学习算法笔记:Particle Filter粒子滤波
Particle FilterKalman 滤波根据线性高斯模型可求得解析解,但是在非线性、非高斯的情况下无法得到解析解,对这类一般的情况,则要采用粒子滤波的方法对于复杂的概率分布,可以通过一个简单的概率分布 q(z)q(z)q(z) 作为桥梁进行采样(重要值采样),求得概率分布函数分积分值(期望):E[f(z)]=∫zf(z)p(z)dz=∫zf(z)p(z)q(z)q(z)dz=1N∑i...原创 2020-05-29 08:45:24 · 538 阅读 · 0 评论 -
机器学习算法笔记:降维
解决过拟合问题除正则化和添加数据外,降维就是最好的方法。一个 nnn 维球的体积可表示为:CRn CR^n CRn那么在球体积与边长为 2R2R2R 的超立方体比值为:limn→0CRn2nRn=0 \lim\limits_{n\rightarrow0}\frac{CR^n}{2^nR^n}=0 n→0lim2nRnCRn=0这就是所谓的维度灾难,在高维数据中,主要样本都分布在立方体...原创 2020-05-29 08:43:13 · 193 阅读 · 0 评论 -
机器学习算法笔记:HMM隐马尔可夫模型
隐马尔可夫模型隐马尔可夫模型是一种概率图模型。我们知道,机器学习模型可以从频率派和贝叶斯派两个方向考虑,在频率派的方法中的核心是优化问题,而在贝叶斯派的方法中,核心是积分问题,也发展出来了一系列的积分方法如变分推断,MCMC 等。概率图模型最基本的模型可以分为有向图(贝叶斯网络)和无向图(马尔可夫随机场)两个方面,例如 GMM,在这些基本的模型上,如果样本之间存在关联,可以认为样本中附带了时序信...原创 2020-05-29 08:38:34 · 190 阅读 · 0 评论 -
机器学习算法笔记:SVM支持向量机
参考文献【】机器学习算法实践-SVM中的SMO算法原创 2020-05-29 08:32:54 · 253 阅读 · 0 评论 -
机器学习算法笔记:线性分类
线性分类对于分类任务,线性回归模型就无能为力了,但是我们可以在线性模型的函数进行后再加入一层激活函数,这个函数是非线性的,激活函数的反函数叫做链接函数。我们有两种线性分类的方式:硬分类直接需要输出观测对应的分类。这类模型的代表为:线性判别分析(Fisher 判别)感知机软分类产生不同类别的概率,这类算法根据概率方法的不同分为两种生成式(根据贝叶斯定理先计算参数后验,再进行推断...原创 2020-05-29 08:28:40 · 281 阅读 · 0 评论 -
机器学习算法笔记:GMM高斯混合模型
高斯混合模型为了解决高斯模型的单峰性的问题,我们引入多个高斯模型的加权平均来拟合多峰数据: p(x)=∑k=1KαkN(μk,Σk) p(x)=\sum\limits_{k=1}^K\alpha_k\mathcal{N}(\mu_k,\Sigma_k) p(x)=k=1∑KαkN(μk,Σk) 引入隐变量 zzz,这个变量表示对应的样本 xxx 属于哪一个高斯分布,这个变量是一个离散的随...原创 2020-05-29 08:25:17 · 268 阅读 · 0 评论 -
机器学习算法笔记:EM期望最大
期望最大算法的目的是解决具有隐变量的混合模型的参数估计(极大似然估计)。MLE 对 p(x∣θ)p(x|\theta)p(x∣θ) 参数的估计记为:θMLE=argmaxθlogp(x∣θ)\theta_{MLE}=\mathop{argmax}\limits_\theta\log p(x|\theta)θMLE=θargmaxlogp(x∣θ)。EM 算法对这个问题的解决方法是采用迭代的方...原创 2020-05-29 08:20:59 · 236 阅读 · 0 评论 -
K-means聚类Anchor Box
范数(norm)定义在赋范线性空间【1】^{【1】}【1】中满足:①非负性;②齐次性;③三角不等式,常被用来度量某个向量空间(或矩阵)中的每个向量的长度或大小(两点间的欧式距离就可以看成是亮点间向量的长度)常用范数距离L1L_1L1范数/距离∣∣x∣∣1=∑i=1n∣xi∣L1(xi,yi)=∑i=1n∣xi−yi∣\begin{aligned}&||x||_1=\sum_{i...原创 2020-02-25 13:14:10 · 778 阅读 · 0 评论 -
机器学习技法笔记
1 – Linear Support Vector MachineLarge-Margin Separating Hyperplane三条直线都是由PLA/pocket算法不断修正错误点而最终产生的,都满足分类要求,但第三条直线对数据误差容忍度明显更高,距离数据点最远(margin最大),所以第三条直线最robust所以要得到一条最robust直线,要满足:目标就变成了:Stand...原创 2019-12-03 10:07:56 · 517 阅读 · 0 评论 -
机器学习基石笔记
什么是机器学习机器从数据中找出某种规律或者模型,并用它来解决实际问题。应用场合事物本身存在某种潜在规律某些问题难以使用普通编程解决有大量的数据样本可供使用机器学习术语输入x输出y目标函数f,即最接近实际样本分布的规律训练样本data假设hypothesis,一个机器学习模型对应了很多不同的hypothesis,通过演算法A,选择一个最佳的hypothesis对应的函数称为...原创 2019-12-03 09:57:52 · 318 阅读 · 0 评论