数理统计与参数估计

七月在线4月机器学习算法班课程笔记——No.2

前言   

       系统的学习概率论与数理统计是在大学二年级，当时还没有接触计算机应用的内容，仅把概率论作为一门纯数学课来学习，我们的老师当然也是数学系的。慢慢地发现概率论与数理统计是好多学科研究的基础，包括经济学、人工智能等等。鉴于它的重要性，有必要结合应用场景重新加深对概率论知识的理解。

1. 概率统计与机器学习

        首先我们来分析概率与统计的区别。概率计算的是一个事件发生的可能性，我们已知的是事件发生的背景，概率通常针对单次操作。统计更多的是用一些调研方法，进行多次实验，推测出客观存在的数据。依然借用桶中摸球来说明问题：

                

       上图的桶是透明的，已知了白球和黑球的数量信息，从中任意摸若干球，可能是什么颜色组合呢？这就需要用概率来回答。

                

        上图的桶不可见其内部，需要统计内部黑白球的比例。如何统计呢？那就需要多次抓取，统计手中球的信息，用频数推算，进行一定误差内的统计。例如，根据正态分布中样本的特征，估算总体的均值和方差。