C++实现lenet-5 总结

   最近自学了点神经网络深度学习，用C++写一个lenet-5做一个总结吧。lenet-5 的原理，卷积神经网络的原理就不说了，大家自己到网上查，只总结一下我这个外行再实现lenet-5遇到的问题：

     根据网上lenet-5资料实现以后，用MNIST验证，结果简直让我不敢直视，完全不对路。但是卷积层、下采样层、全连接网络层我都用相应的数据验证过，没有问题，真是让人很泄气。感谢现在的网络强大，我到网上下载了一个lenet-5 用C语言的实现，但是这个实现和标准实现有些差异，只写个五层，分别是：1.卷积层、2.下采样层、3.卷积层、4.下采用层，5.全连接层；而且第3层卷积层filter深度是1，而标准是6. 为了验证我的代码，也把我的代码改成一样，且权重也给一个固定值。 我的代码正确，很兴奋。我想把代码改的更接近标准，我把第3层的filter深度改成6，天哪，运行结果又不对了，难道我改的不对，反复研究那几行代码，看不出问题，难道标准的有问题？当然是不可能的。仔细研究filter深度的意义，如果每一层的权重一样，每一层算出的结果会一样，采用多层没有意思了。我试着把权重改成随机生成，结果真的好了！my god. 后来我发现不管是哪一层，权重的初始化都很重要，要不然收敛不到你想要的结果。原理嘛我想大概是这样，如一元三次方程有两个极点，初始化位置不对，找不到你想要的极点。怪不得网上流传着训练神经网络也是一种技术活。后来发现训练速率也很重要，设置不对也有可能收敛不到结果。

        最后我也只实现了6层，最后一层没搞定，哪位知道怎么训练，不吝赐教。不过6层也可以用来实现图片识别了，可能准确率差一点吧。代码上传到这个地址，希望跟大家共同学习。 代码开发环境vs2015

               http://download.csdn.net/download/tangqinglin/10234936