回归算法-线性回归分析
回归:目标值连续
线性回归:寻找一种能预测的趋势
线性关系:二维,直线关系;三维,目标值在一个平面内。
线性模型
b是为了将平面的直线都概括进去。因为y=kx只能概括经过原点的直线
线性回归
通过属性的线性组合来进行预测的函数:
矩阵和数组的关系补充:
从上图分析,数组在numpy中是ndarray类型,我们引入矩阵,就是为了满足一些特定的运算,我们要求他必须是二维,二维是个什么概念?就是[[],[],[],[]]这种,就是深度为2,我们把特征值都搞成矩阵,当然权重也要搞成矩阵,因为目标值必须是一个样本对应一个值,如特征值的矩阵为1x4,那么权重矩阵就要4x1,这才能得到一个单独的数!!!下面演示一下之前numpy里疑惑的地方!
之前numpy就解释过multiple和dot方法,现在应该知道为什么二者不一样了,multiple针对数组,dot针对矩阵!
损失函数(误差大小)
预测结果与真实值是有一定的误差
单变量
多变量:
hw就是w0+w1x1+w2x2+…,要想求损失函数的值,就得算各个hw,要想知道hw,就得直到各个w的值。 尽量去减少这个损失(两种方式),目的是找到最小损失对应的W值。
下面提供两个方法去寻找最合适的w。
最小二乘法之正规方程(参数最优解)
这个参数向量,就可以让代价函数取最小值。
从上图我们可