机器学习笔记-standford公开课课程学习笔记

一、回归问题（regression）与分类问题（classification）的区别

二者都属于监督式学习，回归问题和分类问题的本质一样，都是针对一个输入做出一个输出预测，其区别在于输出变量的类型。

分类问题是指，给定一个输入，根据训练集推断它所对应的类别，是一种定性输出，也叫离散变量预测；通常是用来预测一个值，如预测房价、未来的天气情况等。

回归问题是指，给定一个输入，根据训练集推断它所对应的输出值，是一种定量输出，也叫连续变量预测；分类问题是用于将事物打上一个标签，通常结果为离散值。

二、线性回归：设有n个特征变量x1,x2...，m个样本数据

（这里的y是训练样本中的对应目标变量的取值，我们要确定θi的值，使得J（θ）的值最小）

具体求解：

①梯度下降法（gradient descent）找局部最优；因为J（θ）函数是一个碗形结构，只有一个局部最小值，故局部最优就是整体最优

对θj（j=0,1...n），给定一个初始值，然后不断迭代，只到取得局部最小，这里的α 是学习速度（梯度下降的步长）

批量梯度下降：在更新参数时使用所有的样本来进行更新，样本量大时，训练速度很慢

随机梯度下降：在更新参数时只使用一个样本来进行更新，训练的准确性不高，最终结果一般是接近全局最小值，收敛速度较慢，但是训练速度快

二者的折中：小批量梯度下降法-在更新参数时使用部分样本来进行更新

三、局部加权回归Locally weighted linear regression，要预测x对应的y值时，只考虑x周围的样本数据，并使用线性回归算法，数据量过大时效率不高，因为权重的问题，他是用的模型不是固定的，每次预测都要重新拟合；权重：其中分母中的符合是波长函数，控制权重下降的速度

具体的求解θj（j=0,1...n）的算法上面已经讲过的，这里最小值的计算式子稍有变化

最后补充：非参数学习算法vs参数学习算法：参数的选择随着训练数据的变化而变化；参数固定

参考： http://open.163.com/special/opencourse/machinelearning.html