李航《统计学习方法》第六章——用Python实现逻辑斯谛回归（MNIST数据集）

相关文章：

• 李航《统计学习方法》第二章——用Python实现感知器模型（MNIST数据集）
• 李航《统计学习方法》第三章——用Python实现KNN算法（MNIST数据集）
• 李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器（MNIST数据集）
• 李航《统计学习方法》第五章——用Python实现决策树（MNIST数据集）
• 李航《统计学习方法》第六章——用Python实现最大熵模型（MNIST数据集）
• 李航《统计学习方法》第七章——用Python实现支持向量机模型（伪造数据集）
• 李航《统计学习方法》第八章——用Python+Cpp实现AdaBoost算法（MNIST数据集）
• 李航《统计学习方法》第十章——用Python实现隐马尔科夫模型

---

第六章有两个算法，分别是逻辑斯谛回归与最大熵模型
逻辑斯谛回归可以看成最大熵模型的一种特例，最大熵模型的代码已经写好了，小数据集下测试正常，但放到MNIST数据集下会产生指数爆炸的问题，我这几天再看看如何解决吧！

逻辑斯谛回归

首先贴一下书上的算法

算法

可以看到这个算法与感知器算法贼像
感知器算法

当 Y = 1 时，$w^ \mathrm{T}\cdot x$ 尽量等于 +1
当 Y = 0 时， $w^ \mathrm{T}\cdot x$ 尽量等于 -1

而罗吉斯蒂算法

当 Y = 1 时， wT⋅