机器学习第四天-统计学

最近在持续学习数学，为机器学习打好基础，要不仅知其然，还要知其所以然。大家一起加油吧

一、期望

• 期望
• 设P(X)是一个离散概率分布函数，x的取值范围为{x1,x2,······,xn},其期望被定义为：
  • 
• 设p(x)是一个连续概率密度函数。其期望为：
  • 

期望的性质

• 1.线性运算规则

  • 

• 2.函数的期望

  • 设f(x)为x的函数，则f(x)的期望为：
  • 离散：
  • 连续：
  • 函数的期望不等于期望的函数
    • 

         

• 3.乘积的期望

  • 一般来说，乘积的期望不等于期望的乘积，除非变量相互独立。因此，如果x和y相互独立，则
    • 
  • 期望的运算构成了统计量的运算基础，因为方差、协方差等统计量本质上是一种特殊的期望。

二、方差

• 方差是一种特殊的期望，被定义为：
  • 

• 方差的性质

• 1.展开表示

  • 反复利用期望的线性性质，可以算出方差的另一种表示形式：
    • 

• 2.常数的方差

  • 常数的方差为0，诱发差的展开表示很容易推得

• 3.线性组合的方差

  • 方差不满足线性性质，两个变量的线性组合方差计算方法如下：
    • 

• 4.独立变量的方差

  • 如果两个变量相互独立，则：
    • 
  • 作为推论，如果x和y相互独立，则
    • 

三、协方差

• 两个随机变量的协方差被定义为：
  • 
• 因此方差是一种特殊的协方差。当x=y时：
  • 
• 协方差表示的是两个变量的总体的误差，这与指标是一个变量误差的方差不同。如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另一个也大于自身的期望值，那么两个变量之间的协方差就是正值。如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

• 协方差的性质

• 1.独立变量的协方差

  • 独立变量的协方差为0，可以由协方差公式推导出。

• 2.线性组合的协方差

  • 协方差最重要的性质如下：
    • 
  • 很多协方差的计算都是反复利用这个性质，而且可以导出一些重要结论。
  • 作为一种特殊情况：
    • 
  • 另外当x=y时，可以到处方差的一边线性组合求解公式：
    • 

• 3.协方差的例子

  • 两个随机变量x,y联合概率分布如下，求协方差？
  • 对于离散随机变量，协方差公式
  • 
  • 

四、相关系数

• 相关系数通过方差和协方差定义。两个随机变量的相关系数被定义为：
  • 

• 性质

  • 1.有界性

    • 相关系数的取值范围为-1到1.

  • 2.统计意义

    • 值越接近1，说明两个变量正相关性（线性）越强，越接近-1，说明负相关性越强，当为0时表示两个变量没有相关性。

  • 3.相关系数实例

    • 

  • 4.相关系数的物理解释

    •