机器学习学习笔记（三）

参数估计

用于预测或者假设检验
参数估计问题：
已知一个随机变量的分布函数的类型，对参数进行估计。

---

参考中科大统计系张卫平老师的课程资料

一、点估计

1、矩估计

• 基本思想：根据大数定律，利用样本矩对总体分布进行估计。
• 利用总体矩与参数的关系对参数进行评估。
• 举个例子
• 两点分布的参数估计
  X 服从两点分布取值为{-1，1}，P（-1）=1-θ ，P（1）=θ ，现在独立重复实验 n 次，得到样本X1…Xn, 请利用矩估计来估计参数θ 。

首先考虑哪个矩可以用来估计参数。对于两点分布来说：
E(X)=(1-θ )*(-1)+θ *1=2θ -1
E(X²) =(1-θ )*1+θ *1=1
我们看到一阶矩E(X)与θ 有简单直接的关系，θ =(1+E(X))/2。
所以我们使用一阶样本矩估计，得到一个参数的估计量

• 正态分布的参数估计
  X服从参数为 θ =（μ，σ ）的正态分布，独立重复实验 n 次得到样本X1…Xn，请利用矩估计来估计参数θ .
  首先考虑哪个矩可以用来估计参数θ ，对于正态分布来说：
  E(X)=μ
  E(X²)=μ² +σ ²
  E(X³)=(3μσ ²+ μ³ ) /6

原则上二阶和三阶矩都可以用来估计σ ² ，所以矩给估计一般来讲是不唯一的，当有多种选择的时候，我们尽可能选择阶数较小的矩，所以可以采用

此处对σ的估计不是最优的.

2、极大似然估计

• 给定随机变量的分布与未知参数，利用观测到的样本计算似然函数
• 选择最大化似然函数的参数作为参数估计量。
• [ ]

3、点估计的评判准则

二、区间估计

1.置信区间

---

总结

提示：这里对文章进行总结：

例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pa1111111111111ndas提供了大量能使我们快速便捷地处理数据的函数和方法。