机器学习-----背后数学原理推导
详细讲解各种机器学习算法中的数学原理。
从开始的分类 回归,到最后的卡尔曼滤波等等
丁磊_Ml
业精于勤,荒于嬉;行成于思,毁于随。
展开
-
解一个难题的思路
原创 2020-07-28 19:20:49 · 169 阅读 · 0 评论 -
机器学习---背后数学原理--总结
文章目录2020-06学习报告线性回归LASSO 回归Ridge 岭回归感知机算法PLApocket算法线性判别分析逻辑回归高斯判别分析PCAhard-margin SVMsoft-margin SVM2020-06学习报告本月学习机器学习常见算法,并做相应的数学推导。具体的数学推导见文件夹中的pdf文件。本word是对上面的算法进行简单的总结。机器学习模型 主要包括以下流程:首先根据实际问题(比如 一些 先验信息的假设),思考自己的解决方案 (算法思路)将这个解决方案 用 数学的公式 表达出原创 2020-06-30 19:58:15 · 644 阅读 · 0 评论 -
机器学习---背后数学原理--指数族分布
文章目录指数族分布公式指数族分布三大特性与三个模型充分统计量共轭最大熵模型将高斯分布写成指数族分布形式对数配分函数 A(η)A(\eta )A(η) 与充分统计量之间的关系极大似然估计求参数 与 充分统计量 之间的关系事实上,我们之前学的很多种概率分布都是指数族分布。指数族分布公式指数族分布三大特性与三个模型充分统计量共轭最大熵模型将高斯分布写成指数族分布形式对数配分函数 A(η)A(\eta )A(η) 与充分统计量之间的关系将这个定理带入到 高斯分布(一种指数族原创 2020-06-29 19:47:58 · 805 阅读 · 2 评论 -
机器学习---背后数学原理--SVM之核函数
文章目录核函数正定核核函数在有的数据样本中,样本本就不是线性可分的。所以,我们就希望 找到一个非线性函数,将样本数据由低维映射到高维,从而使得样本在高维空间下,是可以线性可分的。cover theonemy: 高维比低维更容易线性可分。即通过非线性带来高维的转换假设这个非线性的映射函数为z=ϕ(x)z = \phi(x)z=ϕ(x)则,映射之后,样本的特征由x变为z但是有的时候ϕ(x)\phi(x)ϕ(x)维度非常高,甚至为无限维。导致ϕ(xi)T∗ϕ(xj)\phi(x_i)^T*\原创 2020-06-29 14:57:00 · 468 阅读 · 0 评论 -
机器学习---背后数学原理--soft-margin SVM
文章目录所以soft-margin SVM的中心实现:在原hard-margin SVM模型的基础上,允许样本操作一定的误差。原创 2020-06-28 23:38:28 · 274 阅读 · 0 评论 -
机器学习---背后数学原理--线性回归
文章目录线性回归的地位线性回归--最小二乘法估计与极大似然法则线性回归模型最小二乘估计,极大似然 ,及二者的关系(用频率派的角度理解最小二乘)最小二乘估计极大似然最小二乘估计 与 极大似然 的关系线性回归--正则化岭回归 l2 正则化 (频率派角度)从贝叶斯派的角度 理解 L2正则化正则化中 频率派和贝叶斯派 是一样的。综上所述线性回归的地位线性回归–最小二乘法估计与极大似然法则线性回归模型当前目标 是 找到 模型f(w)=wTxf(w)=w^Txf(w)=wTx,也就是求出参数 w。下面介绍原创 2020-06-28 22:31:45 · 305 阅读 · 0 评论 -
机器学习---背后数学原理--线性分类
文章目录线性分类的背景感知机线性判别分析逻辑回归高斯判别分析线性分类的背景感知机https://blog.csdn.net/MosBest/article/details/52029217 这篇文章讲了 感知机算法和pocket算法线性判别分析线性判别分析 其实是一种降维的思想。假设样本是p维,二线性判别分析就是将所有p维的样本投影到 一维上(一条线上)。然后在这条线上进行 分类。逻辑回归高斯判别分析...原创 2020-06-28 22:29:40 · 291 阅读 · 0 评论 -
机器学习---背后数学原理--SVM
文章目录SVM思想及其数学模型SVM的中心思想:用数学模型来表示SVM的中心思想建立思想将思想转化为数学表达式(数学模型)这个数学模型就是一个优化问题,求解这个优化问题即可。(梯度下降,EM算法,等等其他)SVM思想及其数学模型SVM有三宝:间隔,对偶,核技巧SVM分三类:hard-margin SVMsoft-margin SVMkernel SVMSVM的中心思想:用数学模型来表示SVM的中心思想下一步,就是要用数学公式表示出 margin(w, b)具体思路可见原创 2020-06-28 22:12:52 · 248 阅读 · 0 评论 -
机器学习---背后数学原理--降维PCA(主成分分析)
文章目录维度灾难过拟合的三种解决方案:PCA(主成分分析)数学 预备知识PCA(主成分分析)的核心思想PCA的目标:最大投影方差最小重构距离PCA(主成分分析)------最大投影方差角度PCA(主成分分析)------ 最小重构距离角度PCA(主成分分析)------SVD角度PCA(主成分分析)------概率角度维度灾难从数据的角度上来看当你的模型增加一个特征(属性)后,你所需要的数据是以指数幂的形式增加从几何的角度上来看模型维度的增加,会导致数据的稀疏性过拟合的三种解决方案原创 2020-06-23 19:24:03 · 446 阅读 · 0 评论 -
机器学习---背后数学原理--开篇:频率派 VS 贝叶斯派
文章目录机器学习方法最终引入 概率 是一个必然趋势,于是 最终 演化成 两大流派:频率派贝叶斯派本片blog就是来讲解这两大流派的异同。前提假设:样本 xi=(xi1,xi2,...,xip)x_i = (x_{i1}, x_{i2}, ... , x_{ip})xi=(xi1,xi2,...,xip): 第i个样本,且每个样本为p维向量样本集 X: 共有N个样本,则XN∗P=(xij)X_{N*P}=(x_{ij})XN∗P=(xij)参数θ\thetaθ: param原创 2020-05-21 18:07:28 · 299 阅读 · 0 评论