李航老师《统计学习》的课程笔记（数学基础篇）

一、矩阵和向量空间

1.矩阵的概念及使用

1.矩阵的乘法：   矩阵乘法       与       Hadaward(按位)乘法（必须满足两矩阵形状一样）

2.向量空间的概念和使用

1.  两个向量的内积：    （当内积等于0，两向量正交）

2.当求向量某个方向上的向量时：

二、概率基础

1.概率的概念

2.概率的公式

（乘法定理）：          

全概率公式：    

贝叶斯公式：

事件的独立性

三、随机变量及其分布   

1.随机变量

1.定义

2.刻画随机变量的方法：离散型随机变量（概率分布）：

                                       连续性随机变量（概率密度）：

2.离散型概率分布

1.（0-1分布):       其中k=0，1      0<p<1

2.（n重）伯努利试验、二项分布：  ，记为X~b(n,p)

3.泊松分布： ，记为X~()

3.连续型概率分布

1.概率密度

2.均匀分布：,记为X~U(a,b)

3.指数分布：       或                 

4.正态分布：  ,记为

4.离散随机变量的函数

其中   h(y)是g(x)的反函数   

5.多维随机变量及其分布

1.二维随机变量函数：

离散型分布；连续型分布；边缘分布律（单一变量分布）

2.条件分布

3.独立随机变量

4.数学期望

5.方差、标准差或均方差

6.相关系数、协方差

四、中心极限定理

n个独立同分布的随机变量相叠加，得到的和将越来越近私于一个正态分布。

在实际中，一个随机现象往往是多个随机因素的叠加。所以很多随机现象的分布都可以用正态分布来描述。

五、样本及抽样分布

在概率论里，我们所研究的随机变量分布都是假设已知。

1.随机样本

2.频率直方图

六、极大似然估计和贝叶斯估计