关于Logistic Regression & Softmax的文章和书摘总结

关于Logistic Regression & Softmax的文章和书摘总结

1. 首先是一个博客码农场-Hankcs

作者参考了李航的《统计学习方法》中关于逻辑斯蒂与最大熵模型的见解。作者自己码了一部分，参考修改了一部分python代码用以实现logistic回归，顺便还给出了matplotlib给结果画图的方法，非常不错。另外作者还参考了《机器学习实战》中的一部分讲解，基本上还是说的比较清楚。

2. 推荐一个讲义

第二个要推荐（并不代表第二好，只是顺便想到）的是邱锡鹏教授（中科大）的《神经网络与深度学习讲义》中关于sigmoid函数的解释（logistic回归当中用到了sigmoid函数，softmax的激活函数形式也是和sigmoid类似的函数）。讲义虽然简短，但内容却非常精华，可能一开始对初学者来说比较难啃，但笔者经过三个月的学习，已经非常喜欢这种比较精髓的表达了，总是能反复琢磨点东西出来。文中没有直接关于logistic的论述，但却可以稍稍把握以下。

3.再推荐一个博客

其实就是寒小阳的CSDN博客，寒小阳似乎和另外一个叫龙心的博主关系密切，具体什么关系我不是非常清楚，但他们会联合写一篇博客，然后相互引用什么的，总之似乎关系就是非常的好。这里具体推荐机器学习系列(1)逻辑回归初步、机器学习系列(2)从初等数学视角解读逻辑回归、深度学习与计算机视觉系列(3)线性SVM与SoftMax分类器、深度学习与计算机视觉系列(3)线性SVM与SoftMax分类器这四篇博文，当然寒小阳博客中还有其它解读非常好的文章，但已经超出了本章所讨论的范围。

顺便说一下，最后一篇关于SVM的文章主要参考了FeifeiLi（from Stanford University）开的CS231这门课的课件，这门课也是非常好的，FeifeiLi似乎非常关注深度学习在图像和视频方面的应用，后面我会加以详细介绍。

4.推荐一个说明文档deeplearning.net

这个域名简单而粗暴，是python机器学习类库Theano的说明文档。文档一主页上有一些知识索引值得一读，不过这里主要是针对其中关于Logistic Regression的叙述和实现部分。这篇文档里用到了Mnist手写体分类，也是其它各种教程里最常用的用来举例子的数据集。

话说看到现在，还几乎没有看到不用mnist的，是因为这样有利于平行比较，还是因为大家都太懒了呢？

5.CS231n Convolutional Neural Networks for Visual Recognition

这就是比较著名的CS231了（我觉得），FeifeiLi教授的课件，这部分资料主要是关于解读Softmax是什么的。文章从矩阵的角度阐述了Softmax做线性划分的实质，前面寒小阳的博客中也做了中文解读。可以说这份资料是学习机器学习、深度学习以及卷积神经网络必须要迈过去的坎。

其实为什么要将Logistic Regression和Softmax放在一起整理呢？一开始我对这两个问题其实是搞不清楚的，后来才发现Softmax实质上是对Logistic Regression的推广，可以认为前者做的是多分类，后者做的是二分类。

当然，Logistic Regression中的“回归”应该是跟我们想要的“回归”半毛钱关系都没有的。

6.UFLDL

UFLDL似乎是Standford另外一个深度学习课题组（Andrew Ng.）做的wiki主页，从网站中的介绍来看是将课程CS294A的资料搬上来了。 当然这里关注的是其中关于logistic regression的部分。

Andrew Ng.教授似乎比较喜欢用matlab，用matlab做了实现，看起来似乎非常简明扼要的样子。

既然提到了Andrew Ng.，就再展开来说一下，网上很多人推荐他的另外一门课CS229，这门课程是有公开课视频的，属于机器学习的入门课程。这篇博文里做了简单的介绍，也提到了logistic regression的部分。还有一门课是CS224d，这里一篇博文做了介绍。这个知乎问题中说这个关于自然语言处理的，权当是做一回搬运工吧。有网友说这CS229传的课程视频比较早，内容相对不是那么前沿，比如激活函数还在用sigmoid，但圈子里已经不常用了，但这并不妨碍我们理解logistic regression的概念。

其实我一直没搞清楚这些课程的关系，所以你就这么一看就行了，具体需要学什么自己查就可以了，这些课也是深浅不一的。

我一开始没有选择看，当初感觉太理论化了，仿佛是一进大学先给你灌一通高等数学似的。然而自学了几个月，做了各种实现看了各种文章以后，我自己说出来的话也跟课程里那种口气差不多，也是挺尴尬的。可能就是这样一个过程吧。

7.neuralnetworksanddeeplearning.com

写出来就是neural networks and deep learning . com，和4的域名有些不分伯仲啊。作者叫Michael Nielsen，似乎也是一位深度学习的名人（但如何有名我也不是很清楚）。里面也是用mnist做的例子，当然这里我们只关注第一章中关于sigmoid函数的部分，似乎作者没有把这个问题单独列出来，而是放在了神经网络介绍的前面。

8.Python机器学习

这是一本书，而且是中文的开源书，地址是这里。作者用python实现了logistic regression，作者用了python的机器学习类库sklearn做了实现，这种类库调用非常方便，非常适合我这种喜欢偷懒的玩家。另外值得一提的是，作者用了iris（鸢yuan尾花）数据库，这是另外一个比较通用用作比较性能的数据集，所以测试mnist之余你还可以试试iris数据集。

---

暂时就总结到这里吧，似乎logistic regression和softmax也不是非常难的内容。以上是我觉得内容比较扎实，也比较原创性强的内容（许多博主也是基于这些原材料做了许多二次解读，具体用搜索引擎搜一下能找到许多），当然也非常非常欢迎大家在评论区帮我补充一下，我会搬到上面来的。