机器学习总结(二)——逻辑斯谛回归和最大熵模型

---

一、逻辑斯谛回归

1. 逻辑斯蒂回归的优缺点

优点：计算代价不高，易于理解和实现，且若采用随机梯度上升法可以在线学习； 速度快，存储资源低。

缺点：可能容易欠拟合，分类精度不高，这个可能是因为我们无法找到足够的特征。只能处理两类分类问题，且必须是线性可分的；（在此基础上衍生出来的softmax可以用于多分类）

2. 与其它的分类算法比较

直接用线性回归做分类因为考虑到了所有样本点到分类决策面的距离，所以在两类数据分布不均匀的时候将导致误差非常大；逻辑斯蒂回归回归和SVM克服了这个缺点，前者采用将所有数据采用sigmod函数进行了非线性映射，使得远离分类决策面的数据作用减弱；后者则直接去掉了远离分类决策面的数据，只考虑支持向量的影响。

3. 逻辑斯蒂回归适合应用在什么场景

在我们的工业应用上，如果需要作出分类的数据拥有很多有意义的特征ÿ