Deep Learning(Logistic Regression)学习之MNIST C++实现

1、这是75%完成度的SGD代码

主要的程序在八月中旬基本完成了，后边忙别的事情，实在懒得再仔细写了，目前的代码是75%完成度的，已知bug和可以改进的地方有：

1、在多次进行下降后，参数矩阵可能变成NaN值。（即由于参数计算导致除零错，目前尚未排查，估计在6%错误率左右的时候出现）

2、并发性可以进行改进。包括采用GPU进行计算的可能。

3、断点保存可以改进。目前保存每次的参数矩阵，可以从上次参数矩阵进行下降。但尚未保存每次退出时进行下降的训练例子位置等信息。

这个SGD的效果还行，应该不比原例子差，不过性能就差了不止十万八千里（囧）。但是考虑到这是第一次写这种算法，没有必要对自己吹毛求疵，而且目的是为了学习和理解SGD算法，自我安慰安慰。

原例子在http://deeplearning.net/tutorial/gettingstarted.html，采用python写的，主要数学工具是Theano。

这个SGD代码的程序一会儿我上载到资源区。

2、为什么要用 C++实现SGD算法

这是因为没有搞定Theano。Logistic-SGD所需环境包括Theano，但是在尝试在Win7/IronPython VS2010环境下安装Theano未果之后，只能采取手动挡来研究一下Logistic-SGD的代码了。

基本思路是通过IronPython+VS2010 .Net环境，在找一些数学库（用于矩阵运算等等），替换Theano的部分内容，使得程序能够跑起来。

结果后来VS2010.Net操作IronPython没有搞定numpy库（抓狂，在外边直接可以用numpy，在C++初始化IronPython却不能使用numpy），加上学的深入一点后，似乎不用特别复杂的数学库，直接实现也可以。于是就有了这个程序。

 

3、SGD理论