机器学习（三）：数据回归

机器学习系列主要为 我在国科大研一期间，在《机器学习方法与应用》课程中所学知识概述，以及课后补充学习的内容。

---------------------------------------------------------------------------------------------------------------------------------------------

回归和分类的区别：回归预测的目标函数是连续值，分类预测的目标函数是离散值

最小二乘法（最小均方差LMS）：基于预测值和真实值的均方差最小化的方法来估计参数w和b

广义线性回归：将线性回归的预测值再做一个非线性的函数变化去逼近真实值，这样得到的模型统称为广义线性回归。这个非线性函数称为联系函数，理论可以是任意函数。比如当联系函数被指定为指数函数的时候，得到的回归模型称为对数线性回归（将真实值的对数作为线性回归逼近的目标）。

Logistic回归：将回归预测值划分为0，1两类值，联系函数可以为单位阶跃函数，但是单位阶跃函数在临界点不连续。希望找到能在一定程度上近似单位阶跃函数的替代函数，并且在临界点连续且单调可微，Logistic函数正式这样一个常用函数（y=e^z/(1+e^z)。Logistic函数形似S，是sigmoid函数的典型代表，可将线性函数的预测值转换为一个接近0或者接近1的值，在预测值为0时，变化很陡，其对应的模型为Logistic回归模型。名字虽然是回归，但却是一种分类方法。

Logistic回归的优点：①可以直接对分类可能性进行预测，将y视为样本x作为正例的概率；②无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题；③是任意阶可导的凸函数，可直接应用现有数值优化算法取最优解。