使用Logistic回归对MNIST手写字符进行分类识别

简介

在这节我们使用Theano用于最基本的分类器：Logistic回归(Logistic Regression)。
全部的代码可以在我的CSDN下载中免费下载：http://download.csdn.net/detail/ws_20100/9222263。
下面我们从模型开始。

---

模型

逻辑回归是一个概率，线性分类器。它的参数包含一个权值矩阵$W$和一个偏置向量$b$。分类器将输入向量映射到一系列超平面上，每个超平面对应一个类别。输入向量与超平面的距离反映了输入属于对应类别的概率。
在数学上，一个输入向量$x$属于类别$i$(概率变量$Y$的值)的概率，记为：

P(Y=i|x,W,b)=softmaxi(Wx+b)=eWix+bi∑jeWix+bi