matlab 回归 逻辑斯蒂_机器学习：线性学习之逻辑斯蒂回归

笔记之前的内容都是在讲解如何利用线性模型进行回归学习，完成回归任务，而这次的笔记要记录的则是如何去做分类任务。

首先考虑的是二分类任务，其输出标记y∈{0,1}，但线性回归模型产生的预测值z=w^t·x+b是实值，因此需要将实值z转换为0/1值。最容易想到的联系函数g(·)自然为阶跃函数。

但单位阶跃函数不连续，因此不能直接作为联系函数g(·)。于是逻辑斯蒂函数作为替代函数就登场了，它在一定程度上近似单位阶跃函数，并且在临界点连续且单调可微。

逻辑斯蒂函数近似s，它将z值转化为一个接近0或1的y值，并且其输出值在z=0附件变化很陡。其对应的模型称为逻辑斯蒂回归，虽然它的名字是“回归”，但实际上却是一种分类学习方法。

逻辑斯蒂回归有很多优点：1)可以直接对分类无能性进行预测，将y视为样本x作为正例的概率；2)无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题；3)是任意阶可导的凸函数，可直接应用现有数值优化算法求取最优解。

将y视为样本x属于正例的概率p{y=1|x}，根据逻辑斯蒂函数很容易得到：

逻辑斯蒂回归只能求解连续属性值问题，不能求解离散属性值问题，对于离散属性值得处理：

√ 若属性值之间存在着“序”关系：通过连续化将其转化为连续值

√ 若属性值之间不存在着“序”关系：通常可将K个属性值转换为K维向量