机器学习笔记_数学基础_3-数理统计

原创 2015年11月18日 16:31:39

随机变量的数字特征

  • 期望: <概率下的加权平均数>

    E(X)=ixipi;
    E(X)=+xf(x)dx


  • 方差
    Var(X)=E{[XE(X)]2}
  • 协方差
    Cov(X,Y)=E{[XE(X)][YE[Y]]}

  • 独立 VS 不相关

统计量


  • (1) 对于随机变量X,X的 k 阶原点矩是 E(xk)
    (2) 对于随机变量X,X的 k 阶中心矩是 E{[XE(X)]k}

  • 切比雪夫不等式
  • 大数定理: 当n很大时,随机变量x1,,xn的平均值 Yn 在概率意义下接近于期望 μ
  • 伯努利大数定理: 频率收敛于期望
  • 中心极限定理:

    Yn=niXinμnσ 收敛到正态分布 NN(nμ,nσ2)


矩估计

  • 假设: 样本的 k 阶矩等于总体的 k 阶矩 => 估算出总体的参数

极大似然估计

  • 联合密度函数 => 似然函数

    L(x1,,xn;θ1,,θk)=ni=1f(x1;θ1,,θk)

  • 似然函数=θ 被视为未知参数,在概率取得最大时,为最佳估计

    logL(θ1,,θk)=ni=1f(xi;θ1,,θk)

    L(θ)θi=0;i=1,2,,k

  • 正态分布的最大似然函数


估计量的判断准则

  • 无偏性: E(θ^)=θ
  • 均方误差: MSE(θ^)=E[(θ^θ)2]
    若:θ^θ的无偏估计则:

    均方误差=方差

版权声明:本文为博主原创文章,未经博主允许不得转载。

有关矩阵函数的求导问题

在做算法处理时经常需要推导一些公式,而这些公式基本上都是矩阵形式的,对矩阵的求导和普通函数的求导不同,给出个简单的结果吧,查查算法、优化方面的书应该也挺多的 ------------------...

李菲菲课程笔记:Deep Learning for Computer Vision – Introduction to Convolution Neural Networks

转载自:http://www.analyticsvidhya.com/blog/2016/04/deep-learning-computer-vision-introduction-convoluti...

七月算法机器学习笔记1--机器学习中的数学之数理统计和参数估计

数理统计和参数估计 首先,看一下概率与统计的关注点 概率论问问题的方式: 已知总体的可能性,求某种事件发生的概率,如图所示:...
  • thystar
  • thystar
  • 2016年04月25日 18:06
  • 1448

机器学习笔记(二)数理统计

数理统计@(Machine Learning)[数理统计和参数估计]1.事件的独立性: 给定AA和BB是两个事件,若有P(AB)=P(A)P(B)P(AB) = P(A)P(B) 则称事件A...

七月算法机器学习笔记2 数理统计与参数估计

七月算法(http://www.julyedu.com) 12月份 机器学习在线班 学习笔记

机器学习笔记_数学基础_2-概率论

概率论 概率: P(X)∈[0,1]=>离散;连续P(X) \in [0,1] => 离散;连续 累积分布函数 Φ(x)=P(x)\Phi(x)=P(x)...

【ML学习笔记】1:机器学习中的数学基础1

机器学习分类[1]监督学习(SL)包括分类预测、回归分析等。监督学习中基于一个训练集(特征1,,特征2,…,特征n,已知目标)训练出一个监督学习算法,去计算仅知道特征的测试集(特征1,特征2,…,特征...

【ML学习笔记】2:机器学习中的数学基础2

琴生不等式下凸函数的一个良好的性质就是满足琴生不等式,因为: 它的加权形式即琴生不等式: 如果将这些权都视为概率,它们加起来为1,那么还能写成数学期望的形式: f(E(x))...

【ML学习笔记】5:机器学习中的数学基础5

向量/矩阵/张量向量向量可以表示成一维数组,每个分量可以理解为向量所表示的点在空间中坐标的分量。矩阵矩阵可以表示成二维数组,上节理解了矩阵可以理解为线性映射在特定基下的一种定量描述。张量张量可以表示成...

【ML学习笔记】4:机器学习中的数学基础4

线性空间线性空间即向量空间,如果空间中有一个原点O,那么空间中的所有点都可以用向量来表示,这些向量及其运算构成的即是向量空间。基基是线性空间里的一组向量,使得该线性空间中任何一个向量都可以唯一表示成这...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习笔记_数学基础_3-数理统计
举报原因:
原因补充:

(最多只允许输入30个字)