这篇笔记探讨了如何使用逻辑斯蒂回归进行二分类任务。逻辑斯蒂函数作为阶跃函数的平滑替代，将线性模型的实值预测转换为0/1输出，解决了分类问题。这种方法无需事先假设数据分布，且模型可直接优化，适用于处理连续属性值。此外，还介绍了如何处理离散属性值的方法：连续化或转换为向量。逻辑斯蒂回归在分类任务中表现出诸多优点，如概率预测、灵活性和可优化性。
笔记之前的内容都是在讲解如何利用线性模型进行回归学习，完成回归任务，而这次的笔记要记录的则是如何去做分类任务。
首先考虑的是二分类任务，其输出标记y∈{0,1}，但线性回归模型产生的预测值z=w^t·x+b是实值，因此需要将实值z转换为0/1值。最容易想到的联系函数g(·)自然为阶跃函数。
但单位阶跃函数不连续，因此不能直接作为联系函数g(·)。于是逻辑斯蒂函数作为替代函数就登场了，它在一定程度上近似单位阶跃函数，并且在临界点连续且单调可微。
逻辑斯蒂函数近似s，它将z值转化为一个接近0或1的y值，并且其输出值在z=0附件变化很陡。其对应的模型称为逻辑斯蒂回归，虽然它的名字是“回归”，但实际上却是一种分类学习方法。
逻辑斯蒂回归有很多优点：1)可以直接对分类无能性进行预测，将y视为样本x作为正例的概率；2)无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题；3)是任意阶可导的凸函数，可直接应用现有数值优化算法求取最优解。
将y视为样本x属于正例的概率p{y=1|x}，根据逻辑斯蒂函数很容易得到：
逻辑斯蒂回归只能求解连续属性值问题，不能求解离散属性值问题，对于离散属性值得处理：
√ 若属性值之间存在着“序”关系：通过连续化将其转化为连续值
√ 若属性值之间不存在着“序”关系：通常可将K个属性值转换为K维向量
863
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
