可汗学院学习总结（一）

1.总体（Population）与样本（Sample）

• 总体是研究对象的整体，通常数目很大，直接对总体进行分析费时费力。因此通过对总体进行抽样得到可以代表总体的样本。
• 一般都是采用样本估计总体的方式，毕竟总体数量太大，将总体可划分为训练集，验证集和测试集。

2.均值(mean)

令总体数为N,样本数为n，每一个样本的取值用表示$x_i$，则：

• 总体均值：$\mu =\frac{1}{N}{\sum }_{i=1}^N{x}_i$
• 样本均值：$\overline{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$

3.方差(Variance)与标准差（Standard deviation）

方差和标准差描述的是数据的离散程度，也就是远离中心的程度：

• 总体方差：${\sigma }^2=\frac{1}{N}{\sum }_{i=1}^N{\left(x_i-\mu \right)}^2$
• 样本方差：$s_n^2=\frac{1}{n}{\sum }_{i=1}^n{\left(x_i-\overline{x}\right)}^2$

这个公式计算的方差通常会低估总体的方差：当样本分布与总体分布相近时，计算得到的样本均值接近总体均值，这时得到的样本方差也就接近总体方差；但是可能的情况是，采样得到的样本与总体偏差较大时（有偏的），由于样本均值总是分布在样本点的中心，这时样本点与样本均值之间的距离小于与总体均值的距离，计算得到的样本方差小于总体方差。这是一种更普遍的情况，因此用上式计算得到的方差通常会低估总体方差。

• 无偏的样本方差：$s^2=\frac{1}{n-1}{\sum }_{i=1}^n{\left(x_i-\overline{x}\right)}^2$

将分母改为n-1，相当于以一个大于1的系数修正了有偏的方差。实验证明，这个公式能更好地估计总体方差。上述情况是在我们不知道总体的均值时，否则就不需要用n-1来保持无偏了。

• 总体标准差：$\sigma =\sqrt{\frac{1}{N}{\sum }_{i=1}^N{\left(x_i-\mu \right)}^2}$
• 样本标准差： $s=\sqrt{\frac{1}{n-1}{\sum }_{i=1}^n{\left(x_i-\overline{x}\right)}^2}$

4.随机变量、概率密度函数、期望

• 随机变量实际上是一种函数，只有在随机过程中才给它赋值。

• 概率密度函数下方的面积表示的才是概率，是概率密度函数在某一个区间内的积分。任何一个确切的点的概率值为0

• 期望值（Expected value）：对于随机变量来说，总体数是无穷的，计算总体均值时我们无法将所有的值相加再除以无穷。因此，将每个数值的出现的频率乘以数值然后对所有数值求和，就得到了期望。期望值实际上等同于总体均值。

5.二项分布

二项分布就是重复n次独立的伯努利实验。在每次试验中只有两种可能的结果，而且两种结果发生与否互相对立，并且相互独立，与其它各次试验结果无关，事件发生与否的概率在每一次独立实验中都保持不变，则这一系列试验总称为n重伯努利实验，当试验次数为1时，二项分布服从0-1分布。

用p表示一次实验中成功的概率，1-p表示一次实验中失败的概率，则二项分布n次独立重复性实验中，成功的次数k的概率为：

• $P(x=k)=\frac{n!}{k!(n-k)!}{p}^k(1-p{)}^{n-k}$

6.二项分布的期望

$\begin{array}{rl}E(X)& =np\\ E(\mathrm{x})& =\sum _{k=0}^{n}k\cdot \left(\begin{array}{c}n\\ k\end{array}\right)\cdot p^k(1-p{)}^{n-k}\\ & =\sum _{k=0}^{n}k\cdot \frac{n!}{k!(n-k)!}\cdot p^k(1-p{)}^{n-k}\\ & =\sum _{k=1}^{n}k\cdot \frac{n(n-1)!}{k(k-1)!(n-k)!}\cdot p\cdot p^{k-1}(1-p{)}^{n-k}\\ & =np\sum _{a=0}^{n-1}\frac{b!}{a(k-1)!(n-k)!}\cdot p\cdot p^{k-1}(1-p{)}^{n-k}\\ & =n{p}^{n-1}\frac{b!}{a!(b-a)!}\cdot p\cdot p^{k-1}(1-p{)}^{n-k}\\ & =np\cdot 1\\ & =np\end{array}$

二项分布的方差：$E(X)=np(1-p)$