关闭

机器学习笔记_数学基础_3-数理统计

582人阅读 评论(0) 收藏 举报
分类:

随机变量的数字特征

  • 期望: <概率下的加权平均数>

    E(X)=ixipi;
    E(X)=+xf(x)dx


  • 方差
    Var(X)=E{[XE(X)]2}
  • 协方差
    Cov(X,Y)=E{[XE(X)][YE[Y]]}

  • 独立 VS 不相关

统计量


  • (1) 对于随机变量X,X的 k 阶原点矩是 E(xk)
    (2) 对于随机变量X,X的 k 阶中心矩是 E{[XE(X)]k}

  • 切比雪夫不等式
  • 大数定理: 当n很大时,随机变量x1,,xn的平均值 Yn 在概率意义下接近于期望 μ
  • 伯努利大数定理: 频率收敛于期望
  • 中心极限定理:

    Yn=niXinμnσ 收敛到正态分布 NN(nμ,nσ2)


矩估计

  • 假设: 样本的 k 阶矩等于总体的 k 阶矩 => 估算出总体的参数

极大似然估计

  • 联合密度函数 => 似然函数

    L(x1,,xn;θ1,,θk)=ni=1f(x1;θ1,,θk)

  • 似然函数=θ 被视为未知参数,在概率取得最大时,为最佳估计

    logL(θ1,,θk)=ni=1f(xi;θ1,,θk)

    L(θ)θi=0;i=1,2,,k

  • 正态分布的最大似然函数


估计量的判断准则

  • 无偏性: E(θ^)=θ
  • 均方误差: MSE(θ^)=E[(θ^θ)2]
    若:θ^θ的无偏估计则:

    均方误差=方差

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:104953次
    • 积分:6713
    • 等级:
    • 排名:第3497名
    • 原创:589篇
    • 转载:2篇
    • 译文:0篇
    • 评论:2条
    最新评论