PySpark入门二十二：ML--线性回归

ML–线性回归

线性回归的总体目标是预测直线通过数据, 使每个点的垂直距离是最小的到该预测线。

squared errors - 均方误差

是反映估计量与被估计量之间差异程度的一种度量

协方差（Covariance）

在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况

协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

TSS , SSE , SSR

TSS = SSE + SSR
TSS - Total Sum of Squared Errors 平方误差的总和 - 使用均值进行计算。
SSE - Sum of squared errors 平方误差之和 - 计算得到斜率公式，重新计算需要预测的值。 - 残差平方和
SSR - Residual Sum of squared errors 平方误差的剩余总和 - 回归平方和

meanSquaredError - 均方误差（mean-square error, MSE）是反映估计量与被估计量之间差异程度的一种度量

判定系数(拟合优度) - SSR / TSS 计算求得 确定系数，越大，说明预测的准确率越高。

计算过程
求斜率和截距 （通过均值代理计算）- 通过协方差进行计算
计算确定系数，用来评估准确性。

代码实现

from pyspark.sql import SparkSession
spark=SparkSession.builder.appName('lin_reg').getOrCreate()

# 2-读取数据
from pyspark.ml.regression import LinearRegression
df=spark.read.csv('Linear_regression_dataset.csv',inferSchema=True,header=