线性回归算法总结

回归是指利用样本（已知数据），产生拟合方程，从而对（未知数据）进行预测。

用途：预测、判别合理性。

困难：①选定变量（多元）；②避免多重共线性；③观察拟合方程，避免过度拟合；④检验模型的合理性。

因变量与自变量的关系：①相关关系（非确定性关系，比如物理与化学成绩相关性），使用相关系数衡量线性相关性的强弱；②函数关系（确定性关系）

相关系数求解：Pearson样本积矩相关系数

注意，如果样本是两组配对的顺序数据时，则采用Spearman等级相关系数（秩相关或名次相关）

公式中，分别表示的名次（从大到小或从小到大）。

线性回归中最小二乘法的应用

判断直线拟合程度，如果是通过点向直线引垂线，由解析几何点到直线的距离公式可知，涉及到开方，这样不好求极值，所以改为由点向直线引竖直线求长度，去绝对值，