统计学之线性回归、卡方分布（四）

回归，指研究一组随机变量(Y1 ，Y2 ，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法，又称多重回归分析。通常Y1，Y2，…，Yi是因变量，X1、X2，…，Xk是自变量。

线性回归

线性回归，就是能够用一个直线较为精确地描述数据之间的关系。这样当出现新的数据的时候，就能够预测出一个简单的值。

数学表达式：$y=\theta +{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$
矩阵形式：$y=\theta \mathbf{X}$

Hypothesis，表示的就是线性回归模型
Cost Function，代价函数
Goal，就是要求对应的代价函数最小

特点：

• 建模速度快，不需要很复杂的计算，在数据量大的情况下依然运行速度很快。
• 可以根据系数给出每个变量的理解和解释。
• 对异常值很敏感。

线性回归正则化

为了防止模型的过拟合，我们在建立线性模型的时候经常需要加入正则化项。一般有L1正则化和L2正则化。

L1正则化Lasso回归

L1正则化通常称为Lasso回归，它和一般线性回归的区别是在损失函数上增加了一个L1正则化的项，L1正则化的项有一个常数系数$\alpha$来调节损失函数的均方差项和正则化项的权重，具体Lasso回归的损失函数表达式如下：　　
$$J(\theta )=\frac{1}{2n}(X\theta -Y{)}^T(X\theta -Y)+\alpha |\theta {|}_1$$
其中n为样本个数，$\alpha$为常数系数，需要进行调优。$|{\theta }_1|$为L1范数。

Lasso回归可以使得一些特征的系数变小，甚至还是一些绝对值较小的系数直接变为0。增强模型的泛化能力。

L2正则化Ridge回归

L2正则化通常称为Ridge回归，它和一般线性回归的区别是在损失函数上增加了一个L2正则化的项，和Lasso回归的区别是Ridge回归的正则化项是L2范数，而Lasso回归的正则化项是L1范数。具体Ridge回归的损失函数表达式如下：
$$J(\theta )=\frac{1}{2}(X\theta -Y{)}^T(X\theta -Y)+\frac{1}{2}\alpha |\theta {|}_2^2$$
其中$\alpha$为常数系数，需要进行调优。$|{\theta }_2|$为L2范数。

Ridge回归在不抛弃任何一个特征的情况下，缩小了回归系数，使得模型相对而言比较的稳定，但和Lasso回归比，这会使得模型的特征留的特别多，模型解释性差。

卡方分布

卡方检验是一种用途很广的计数资料的假设检验方法。它属于非参数检验的范畴，主要是比较两个及两个以上样本率(构成比）以及两个分类变量的关联性分析。其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。

卡方检验的公式：

其中，A为实际值，T为理论值。

x2用于衡量实际值与理论值的差异程度（也就是卡方检验的核心思想），包含了以下两个信息：

1. 实际值与理论值偏差的绝对大小（由于平方的存在，差异是被放大的）
2. 差异程度与理论值的相对大小

卡方分布临界值表

案例

我们想知道不吃晚饭对体重下降有没有影响：

1. 建立假设检验：

H0：r1＝r2，不吃晚饭对体重下降没有影响，即吃不吃晚饭的体重下降率相等；
H1：r1≠r2，不吃晚饭对体重下降有显著影响，即吃不吃晚饭的体重下降率不相等。α=0.05

2. 计算理论值

3. 计算卡方值

根据公式

计算出卡方值为5.498

4. 查卡方表求P值

在查表之前应知本题自由度。按卡方检验的自由度v=（行数-1）（列数-1），则该题的自由度v=（2-1）（2-1）=1，查卡方界值表，找到3.84，而本题卡方=5.498即卡方＞3.84，P＜0.05，差异有显著统计学意义，按α=0.05水准，拒绝H0，可以认为两组的体重下降率有明显差别。

通过实例计算，对卡方的基本公式有如下理解：若各理论数与相应实际数相差越小，卡方值越小；如两者相同，则卡方值必为零。

参考

三大抽样分布
统计学——卡方分布