代价函数、相关系数、决定系数

代价函数（损失函数）Cost Function–J(θ0，θ1)

代价函数的形式众多，含义相似，如下为一个一元线性回归的代价函数


我们的目标：通过改变代价函数的两个参数（即改变回归线h(θ)的截距和斜率）来最小化代价函数J(θ)，减小训练集数据拟合时的误差。找到代价函数J(θ)的最小值后就能确定θ0、θ1的取值。

右图中横坐标表示截距θ0，纵坐标表示斜率θ1，选取的两个参数对应左图的直线。通过选取不同的代价函数参数θ0、θ1，找到全局最小值，即J(θ)min。

相关系数（线性、两个变量）

相关系数的绝对值越接近1，说明样本点的分布越接近线性关系
相关系数越接近1，说明样本点的分布越接近正相关关系
相关系数越接近-1，说明样本点的分布越接近负相关关系
相关系数越接近0，说明样本点的分布越不接近线性关系

决定系数（非线性、两个及以上变量）

yi：样本点真实值，y拔：样本点真实值的平均值，y尖：预测值
决定系数R方越接近1说明自变量之间越接近线性关系，用来衡量线性模型的结果。