![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习之数学基础
JackkwiN
这个作者很懒,什么都没留下…
展开
-
【机器学习数学基础--矩阵01】线性空间
范数 定义:是一个描述线性空间的度量,可以理解为二维空间的长度。 如||x1-x2||表示向量x1,x2之间的距离。 *Frobenius范数:机器学习常用范数。 即:矩阵所有元素先取平方和,再开平方。特征分解 特征值:满足公式: ,其中 λ 为特征值,x为A的对应于λ的特征向量。 特征分解:公式: ,其中,P是A所有特征向量展开组成的矩阵。 ...原创 2018-02-27 15:42:56 · 528 阅读 · 0 评论 -
【机器学习数学基础之概率论与统计03】抽样分布
两个概念 独立同分布样本:当X1,X2,...,Xn相互独立且具有相同的分布函数F的时候,称X1,X2,...,Xn为独立同分布样本,记为X1,X2,...,Xn ~ F. 抽样分布:X1,X2,...,Xn为独立同分布样本(IID),其均值和方差为μ和σ²。那么对于这些样本有样本均值 ,即求平均值。因为每个Xi都是随机变量,所以样本均值也是随机变量,对样本均值进行分布描述,那么该分布...原创 2018-03-07 16:10:17 · 1319 阅读 · 0 评论 -
【机器学习数学基础之概率论与统计04】非参数估计
非参数估计指不知道分布类型,对样本进行模型估计。一般只用在一维和二维。直方图估计 具体概念详见课件: 直方图与初高中所理解的直方图没什么不同,直方图估计...原创 2018-03-07 20:52:52 · 353 阅读 · 0 评论 -
【机器学习数学基础之概率论与统计05】多元随机向量及其分布
几种常见的分布 联合分布 联合分布很难描述清楚,智能给出概念。但是在相互独立的随机变量中,它们联合分布是它们各自分布的乘积。 对于连续型随机变量,加上积分就可以了。 边缘分布 在二维情况下的直观解释: 条件分布 二维情况下的条件分布: 实际上,贝叶斯公式可以由条件概率和全概率公式得出。 由二维推广到多维的条件概率的链规则: 贝叶...原创 2018-03-08 11:02:19 · 965 阅读 · 0 评论 -
【机器学习数学基础之矩阵02】矩阵求导
多元函数导数 对于n维函数 ,y本身没有导数,但其对于每一个分量都有偏导,于是有如下定义: 梯度向量:,其性质类似与一元函数的一阶导。 Hessian矩阵: *值得注意的是,因为偏导顺序不影响结果,所以Hessian矩阵是一个实对称矩阵。最速下降法 最初看这个内容的时候迷迷糊糊的,但实际上很简单的一个东西。最速下降法在一元函数中是指沿着...原创 2018-03-04 22:29:29 · 2948 阅读 · 0 评论 -
【机器学习数学基础之矩阵03】线性回归
线性回归(最小二乘法) 一维模型:对于直角坐标系中一系列样本点(x,y),找到合适的a,b,使得f(x)=ax+b成立,并且f(x)~=y。实际上,线性回归的过程就是寻找a,b的过程,而判定最优解的方法就是寻找误差最小值,即: 。arg min是机器学习术语,表示让arg成立的min的值。 根据矩阵求导相关知识求出一维模型的解: 。 多维模型:对于一系列样本点(x,y), 找到...原创 2018-03-05 08:53:44 · 337 阅读 · 0 评论 -
【机器学习数学基础之概率论01】贝叶斯公式
概率的三个公理 1.事件A的概率是一个非负实数:P(A)≥0。 2.合法命题(必然事件)的概率为1。 3.对两两不相交(互斥)事件,有。条件概率 联合概率:P(A,B)=P(A|B)*P(B) 条件概率:P(A|B)=P(A,B)/P(B) *给定任意B,若P(B)>0,则P(·|B)也是一个概率,即满足概率的三个概率公理: 1...原创 2018-03-05 21:22:43 · 274 阅读 · 0 评论