机器学习笔记-线性回归

线性回归，从数学上来说是可导函数作为假想模型的机器学习算法中的一种。其主要思想还是概述中的那样。首先寻找特征变量，然后根据已有数据，找到这个可导函数。这里可以发挥数学上的各种线性函数了。

这里可能我说的不是很严谨，如此逻辑回归也可能在此。那么我还是把线性回归的假想模型描述下一下：

 
 这里不再从单一变量说起，直接来个高大上的了。这里是多特征变量的，如果我们熟悉（必须熟悉）矩阵向量 ，那么可以简化一下。这样，假想函数就OK了（实际情况需要具体分析，特征数量，以及后面提到的多项式的应用）。注意这里，虽然只有n个特征，但是加入了偏置单元，所以实际特征维度变成n+1，参数向量也是n+1维。

 

接下来就是Cost Function（代价函数）

在上图前，可以自己想象一下。其实所有的代价函数都有一个模子。不信请看，包括梯度递减。

 

 

这里的代价函数，还是使用方差。梯度下降 中使用导数表示方式，也可以统一成这个样子。接下来为了具体的计算，我们还是需要算出来。

假想模型函数可以直接带入代价函数，即可。求导代价函数，这里需要微积分知识。其实也是很简单。

复合函数求导  (uv)' = u'v + uv' 

最终的结果直接上：

 

 

Andrew NG为我们分析了单个变量的情况实际上和多变量是一样的。这下，带入假想函数，我们就可以变成实现了。