数学处理方法

数学处理方法

1. Softmax function
2. 最大似然
3. 牛顿插值法
4. 最小二乘法
5. Q-Q图
6. 用通俗易懂的方式理解假设检验
7. 相关系数与典型相关分析
8. 常用的向量矩阵求导公式
9. 方差与协方差矩阵
10. 统计学中数据分布的偏度（skewness）和峰度（kurtosis）
11. 内生性问题
12. 处理多分类问题的线性判别分析法（LDA）

Softmax function

作用：将分数/小数转化为概率，即满足概率条件—大于0小于1且和为1，同时也满足分数/小数本身特征，如大小，相对程度等
对象:针对多分类问题
函数：先取指数，再归一化
eg.
x_1 = 12.5 x_2 = 3.9 x_3 = -2.6
取指数：e_x1 = 268337 e_x2 = 49 e_x3 = 0.074
再normalize : s_x_1 = 268337/268337+49+0.074 = 0.99
s_x_2 = 49/268337+49+0.074 = 0.01
s_x_3 = 0.074/268337+49±0.074 = 0

最大似然估计、对数似然

说白了，最大似然就是最大可能性，即求使函数满足条件此事出现概率最大的参数，概率越大就越接近真实情况

最大似然估计法的思想很简单：在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个X作为真X的估计。求X的极大似然估计就归结为求L(X)的最大值点，而由于对数函数是单调增函数，所以对L(X)取log。
对log（L(X)）关于X求导数，并命其等于零，得到的方程组称为似然方程组。解方程组log（L(X)），又能验证它是一个极大值点，则它必是L(X)的最大值点，即为所求的最大似然估计。

牛顿插值法（联系泰勒展开与拉格朗日插值）

https://www.matongxue.com/madocs/126.html

最小二乘法

最小二乘法的几何意义：已知的点（x_i,y_i）离拟合曲线距离最短

在机器学习中的损失函数，与在回归分析中的残差平方和本质上是一个东西

Q-Q图

分位数（Quantile）：亦称分位点，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数（即二分位数）、四分位数、百分位数等。

统计学里Q-Q图（Q代表分位数）是一个概率图，用图形的方式比较两个概率分布，把他们的两个分位数放在一起比较。首先选好分位数间隔。图上的点（x,y）反映出其中一个第二个分布（y坐标）的分位数和与之对应的第一分布（x坐标）的相同分位数。因此，这条线是一条以分位数间隔为参数的曲线。如果两个分布相似，则该Q-Q图趋近于落在y=x线上。如果两分布线性相关，则点在Q-Q图上趋近于落在一条直线上，但不一定在y=x线上。

要利用QQ图鉴别样本数据是否近似于正态分布,只需看QQ图上的点是否近似地在一条直线附近,而且该直线的斜率为标准差,截距为均值.
用QQ图还可获得样本偏度和峰度的粗略信息.

用通俗易懂的方式理解假设检验

https://blog.csdn.net/wydyd110/article/details/82387653

相关系数与典型相关分析

在一元统计分析中，用相关系数来衡量两个随机变量之间的线性相关关系；用复相关系数研究一个随机变量和多个随机变量的线性相关关系。比较常用的相关系数，有：皮尔逊person相关系数和斯皮尔曼spearman相关系数。
典型相关分析（Canonical Correlation）是研究两组变量之间相关关系的一种多元统计方法。它能够揭示出两组变量之间的内在联系。比如，处理对于阅读能力变量（阅读速度、阅读才能）与数学运算能力变量（数学运算速度、数学运算才能）是否相关的问题，这两个变量是两组数据，通过典型相关分析可以得到两组变量间的相关关系。
典型相关分析的目的是识别并量化两组变量之间的联系，将两组变量相关关系的分析，转化为一组变量的线性组合与另一组变量线性组合之间的相关关系分析。

常用的向量矩阵求导公式

方差与协方差矩阵

统计学中数据分布的偏度（skewness）和峰度（kurtosis）

https://www.cnblogs.com/shadow1/p/10914798.html

内生性问题

内生性问题：就是模型中的一个或多个解释变量（解释变量为自变量，被解释变量为因变量）与随机扰动项相关的问题。变量的内生性问题总是不可避免的。内生性引起的问题主要是引起参数估计的不一致。

处理多分类问题的线性判别分析法（LDA）

https://blog.csdn.net/z962013489/article/details/79918758