一、线性回归
线性回归一般用来做连续值的预测,预测的结果为一个连续值。因训练时学习样本不仅要提供学习的特征向量X,而且还要提供样本的实际结果(标记label),所以它是一种有监督学习。其中 X={ x0,x1,...,xn} 。
线性回归需要学习得到的是一个映射关系 f:X→y ,即当给定新的待预测样本时,我们可以通过这个映射关系得到一个测试样本 X 的预测值
在线性回归中,假定输入X和输出y之间具有线性相关的关系。
例如当特征向量 X 中只有一个特征时,需要学习到的函数应该是一个一元线性函数
当情况复杂时,考虑 X 存在n个特征的情形下,我们往往需要得到更多地系数。我们将
其中,为了在映射函数hΘ(X)中保留常数项,令 x0 为1,所以特征向量 X={ 1,x1,x2,...,xn} ,特征系数向量 θ={ θ0,θ1,θ2,...,θn} 。
当给定一个训练集数据的情况,可以通过某个算法,学习出来一个线性的映射函数 hθ(X) 来求得预测值 y 。
二、损失函数
在需要通过学习得到的映射函数
那怎么得到所需的特征系数向量?怎么保证得到的特征系数向量是足够好?这里会有一个评判标准:损失函数。
根据特征向量系数 θ ,可有损失函数 J(θ) 如下 :
其中 hθ(X) 为需要学习到的函数, m 为训练集样本的个数,
为了得到预测值
三、梯度下降算法求解
批量随机梯度下降BGD
在上面,找到了一个特征系数向量 θ 好坏的损失函数 J(θ) 。为了迎合这样的评判标准得到较好的