机器学习笔记_数学基础_3-数理统计

原创 2015年11月18日 16:31:39

随机变量的数字特征

  • 期望: <概率下的加权平均数>

    E(X)=ixipi;
    E(X)=+xf(x)dx


  • 方差
    Var(X)=E{[XE(X)]2}
  • 协方差
    Cov(X,Y)=E{[XE(X)][YE[Y]]}

  • 独立 VS 不相关

统计量


  • (1) 对于随机变量X,X的 k 阶原点矩是 E(xk)
    (2) 对于随机变量X,X的 k 阶中心矩是 E{[XE(X)]k}

  • 切比雪夫不等式
  • 大数定理: 当n很大时,随机变量x1,,xn的平均值 Yn 在概率意义下接近于期望 μ
  • 伯努利大数定理: 频率收敛于期望
  • 中心极限定理:

    Yn=niXinμnσ 收敛到正态分布 NN(nμ,nσ2)


矩估计

  • 假设: 样本的 k 阶矩等于总体的 k 阶矩 => 估算出总体的参数

极大似然估计

  • 联合密度函数 => 似然函数

    L(x1,,xn;θ1,,θk)=ni=1f(x1;θ1,,θk)

  • 似然函数=θ 被视为未知参数,在概率取得最大时,为最佳估计

    logL(θ1,,θk)=ni=1f(xi;θ1,,θk)

    L(θ)θi=0;i=1,2,,k

  • 正态分布的最大似然函数


估计量的判断准则

  • 无偏性: E(θ^)=θ
  • 均方误差: MSE(θ^)=E[(θ^θ)2]
    若:θ^θ的无偏估计则:

    均方误差=方差

版权声明:本文为博主原创文章,未经博主允许不得转载。

机器学习笔记(二)数理统计

数理统计@(Machine Learning)[数理统计和参数估计]1.事件的独立性: 给定AA和BB是两个事件,若有P(AB)=P(A)P(B)P(AB) = P(A)P(B) 则称事件A...
  • IOThouzhuo
  • IOThouzhuo
  • 2016年02月01日 12:18
  • 1252

七月算法机器学习笔记1--机器学习中的数学之数理统计和参数估计

数理统计和参数估计 首先,看一下概率与统计的关注点 概率论问问题的方式: 已知总体的可能性,求某种事件发生的概率,如图所示:...
  • thystar
  • thystar
  • 2016年04月25日 18:06
  • 1600

概率论与数理统计学习笔记

第一章 随机事件与概率 第二章 随机变量及其分布 第三章 多维随机变量及其分布 第四章 大数定律与中心极限定理 第五章 统计量及其分布 第六章 参数估计 第七章 假设检验 第八章 方差分...
  • luxialan
  • luxialan
  • 2016年05月06日 23:03
  • 3579

机器学习笔记--概率与数理统计

终于看到了概率和数理统计了,期间看了机器学习算法感觉比以前明朗了很多,很多公式概念也有了一些新的认识,继续看数学吧,看完数学就再继续整python。1 概率记作P(E),比如掷骰子,每一面的概率就是P...
  • eastmoon502136
  • eastmoon502136
  • 2017年09月02日 16:13
  • 354

知乎 机器学习 数学工具,包括数学课程全!!!!!

点击打开链接 https://www.zhihu.com/question/24345119/answer/157149692?utm_source=qq&utm_medium=so...
  • sinat_36458870
  • sinat_36458870
  • 2017年04月14日 20:50
  • 305

机器学习笔记_数学基础_2-概率论

概率论 概率: P(X)∈[0,1]=>离散;连续P(X) \in [0,1] => 离散;连续 累积分布函数 Φ(x)=P(x)\Phi(x)=P(x)...
  • mijian1207mijian
  • mijian1207mijian
  • 2015年11月18日 00:28
  • 457

机器学习笔记_数学基础_1-微积分

微积分 极限 导数 : 一阶导数;二阶倒数; 微分中值定理 (1)罗尔定理(倒数为零的点是驻点) (2)拉格朗日中值定理 泰勒公式 f(x)=f(x0)+f′(x0)(x−x0)+f”(x0...
  • mijian1207mijian
  • mijian1207mijian
  • 2015年11月17日 21:28
  • 385

机器学习笔记_数学基础_4-线性代数

行列式
  • mijian1207mijian
  • mijian1207mijian
  • 2015年11月18日 17:57
  • 619

斯坦福机器学习网易公开课笔记14

主成分分析是一种常用的降低数据维度的算法。先假设我们有一个非监督学习问题,给出一个包含m个样本的训练数据集{x^((1) ),…,x^((m))},每个样本数据都是一个n维向量。目标是将其降维成为一个...
  • zhonglj0314
  • zhonglj0314
  • 2017年03月13日 18:52
  • 445

数理统计学习笔记——总体与样本

数理统计是研究大量随机现象规律性的
  • libaqiangdeliba
  • libaqiangdeliba
  • 2014年09月28日 10:29
  • 1190
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习笔记_数学基础_3-数理统计
举报原因:
原因补充:

(最多只允许输入30个字)