公众号: 数据小斑马,关注即可获得价值1000元的数据分析学习资料
神经网络系列目录:
神经网络①——神经网络原理介绍(BP算法)
神经网络②——python实现神经网络
神经网络③——sklearn参数介绍及应用
神经网络实战④——主播综合评分回归预测实战
一、最小二乘法
公众号: 数据小斑马,关注即可获得价值1000元的数据分析学习资料
先来解释几个概念
拟合函数/估值函数:在回归问题中,当给定一组样本时,找到一个最佳的函数来匹配所有的样本,这个函数就是拟合函数/估值函数
损失函数:判断函数拟合的好不好的函数,损失函数越小,说明拟合值与真实值越接近,误差越小,就越能用拟合函数来进行预测,损失函数的标准有以下几种:
a) 残差和: 指拟合值与真实值的差的和,有正有负会存在抵消的情况,不能反应真实误差
b) 残差绝对值和:这个可以解决残差和有正有负的问题,但是绝对值在后续的求导会异常麻烦
c) 残差的平方和:这就是最小二乘法,通过残差平方和求解极值,找到最佳的拟合函数
如何对损失函数求解呢?
① 代数求导法
假设拟合函数为一元线性函数:
其中ei为样本(Xi, Yi)的误差
平方和损失函数:
则通过Q最小确定这条直线,解决办法:将两个参数作为未知数,分别求偏导,代入所有的样本值,当偏导=0时,就求得极值