统计学和算法相关的基础知识（持续更新）

期望和平均值的区别：
平均值属于数理统计范围，期望属于概率论范围。
期望就是其中关于随机变量的一种总体性的描述，它是事件本质的一种表达。针对于大群体进行计算
平均值主要针对于小群体进行计算，针对既有的数值全部一个不落的加起来，叫做平均值。

线性回归：
what：确定两种或者两种以上变量之间相互依赖的定量关系的一种统计方法。单变量表达形式是y = bx+e 误差e服从均值为0的正态分布。它的基本思想就是用梯度下降法对最小二乘形式的误差函数进行优化。最终求出b

它的结果可以用R²来评估：

栗子：预测或者映射，完成一个模型之后，对于一个新增的X值，可以用这个模型预测出来一个Y值。
推导过程（重点）：

最小二乘法：
利用最小二乘法可以简便的求得未知的数据，并且使这些求得的数据与实际数据之间误差的平方和最小。
用一元线性回归举栗的话，最小二乘法的原则是以残差平方和最小，确定直线的位置。
它的计算比较简便。得到的估计量具有优良特性。但是这种方法对异常值比较敏感。

逻辑回归：
what：逻辑回归是一种广义的线性回归分析模型，它是一个景点的二分类模型，将线性回归的模型映射到Sigmoid函数中，从而达到由值到概率的转换，Sigmoid函数的值域是0,1
当最后求解的值大于0.5的时候取1，小于0.5的时候取0 从而达到一个二分类的目的。
栗子：根据逻辑回归模型，预测在不同的自变量的情况下，发生某种疾病或者某种情况的概率有多大。

高斯分布：
what：高斯分布也是正态分布，曲线呈钟型，两头低中间高，左右对称。

一个3~原则：

栗子：生产与科学实验当中很多随机变量的概率分布都可以近似的用正态分布来表示：
在生产条件不变的情况下，产品的强力，抗压强度，口径，长度，同一种生物体的身长体重，同一种种子的重量啥的，还有一些常用的分布由它直接导出，比如对数正态分布，T分布，F分布，卡方分布。

极大似然估计：
what：是一种求估计量的方法，使用概率模型，寻找能够以较高概率发生观察数据的参数。也就是说，我们根据已知事件来寻找能够发生这类事件的最大的可能性。
主要原理：给定一个概率分布D，假定它的概率密度函数（连续分布）为f，以及一个分布参数a，我们可以从这个分布中抽出一个具有n个值的采样 x1,x2,x3… 通过利用f，可以计算出来概率。
P = （x1,x2…xn) = f(x1,x2,…xn|a)
但是我们还不知道a的值，我们就要用这些采样的数据来估计a。
一旦我们获得，我们就能从中找到一个关于a的估计，最大似然估计会寻找关于a的可能的值（也就是说，会在所有可能的a的取值中寻找一个值让这个采样的可能性最大化）
定义可能性 lik(a) = f(x1,x2,…xn|a)
并且在a的所有取值上面，使这个函数最大化。这个使可能性达到最大的值被称为a的最大似然估计。
why:目的就是根据已知事件来求出产生这种结果最有可能的条件。
栗子：求误差。

梯度下降：
what：梯度下降法就是沿着梯度下降的方向求解极小值（也可以沿着梯度上升的方向求解极大值）
why：在求解损失函数最小值的时候，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型的参数值，反过来如果我们需要求解损失函数的最大值，那么久需要梯度上升来迭代。
栗子：可以用来求解最小二乘问题。在求解机器学习算法的模型参数中，梯度下降也是最常采用的方法。

特征值和特征向量：
what：设A是n阶方阵，如果存在数值m和非零n维列向量x，使得Ax = mx成立，就说m是A的一个特征值，非零n维列向量x称为矩阵A的属于特征值m的特征向量。
why：可以用来求解特征向量 行列式=0
还是判断相似矩阵的必要条件。