线性回归,从数学上来说是可导函数作为假想模型的机器学习算法中的一种。其主要思想还是概述中的那样。首先寻找特征变量,然后根据已有数据,找到这个可导函数。这里可以发挥数学上的各种线性函数了。
这里可能我说的不是很严谨,如此逻辑回归也可能在此。那么我还是把线性回归的假想模型描述下一下:
这里不再从单一变量说起,直接来个高大上的了。这里是多特征变量的,如果我们熟悉(必须熟悉)矩阵向量 ,那么可以简化一下。这样,假想函数就OK了(实际情况需要具体分析,特征数量,以及后面提到的多项式的应用)。注意这里,虽然只有n个特征,但是加入了偏置单元,所以实际特征维度变成n+1,参数向量也是n+1维。
接下来就是Cost Function(代价函数)
在上图前,可以自己想象一下。其实所有的代价函数都有一个模子。不信请看,包括梯度递减。
这里的代价函数,还是使用方差。梯度下降 中使用导数表示方式,也可以统一成这个样子。接下来为了具体的计算,我们还是需要算出来。
假想模型函数可以直接带入代价函数,即可。求导代价函数,这里需要微积分知识。其实也是很简单。
复合函数求导 (uv)' = u'v + uv'
最终的结果直接上:
Andrew NG为我们分析了单个变量的情况实际上和多变量是一样的。这下,带入假想函数,我们就可以变成实现了。