一、回归问题(regression)与分类问题(classification)的区别
二者都属于监督式学习,回归问题和分类问题的本质一样,都是针对一个输入做出一个输出预测,其区别在于输出变量的类型。
分类问题是指,给定一个输入,根据训练集推断它所对应的类别,是一种定性输出,也叫离散变量预测;通常是用来预测一个值,如预测房价、未来的天气情况等。
回归问题是指,给定一个输入,根据训练集推断它所对应的输出值,是一种定量输出,也叫连续变量预测;分类问题是用于将事物打上一个标签,通常结果为离散值。
二、线性回归:设有n个特征变量x1,x2...,m个样本数据
(这里的y是训练样本中的对应目标变量的取值,我们要确定θi的值,使得J(θ)的值最小)
具体求解:
①梯度下降法(gradient descent)找局部最优;因为J(θ)函数是一个碗形结构,只有一个局部最小值,故局部最优就是整体最优
对θj(j=0,1...n),给定一个初始值,然后不断迭代,只到取得局部最小,这里的α 是学习速度(梯度下降的步长)
批量梯度下降:在更新参数时使用所有的样本来进行更新,样本量大时,训练速度很慢
随机梯度下降:在更新参数时只使用一个样本来进行更新,训练的准确性不高,最终结果一般是接近全局最小值,收敛速度较慢,但是训练速度快
二者的折中:小批量梯度下降法-在更新参数时使用部分样本来进行更新
三、局部加权回归Locally weighted linear regression,要预测x对应的y值时,只考虑x周围的样本数据,并使用线性回归算法,数据量过大时效率不高,因为权重的问题,他是用的模型不是固定的,每次预测都要重新拟合;权重:其中分母中的符合是波长函数,控制权重下降的速度
具体的求解θj(j=0,1...n)的算法上面已经讲过的,这里最小值的计算式子稍有变化
最后补充:非参数学习算法vs参数学习算法:参数的选择随着训练数据的变化而变化;参数固定
参考: http://open.163.com/special/opencourse/machinelearning.html