深度学习进阶（四）--深度神经网络中梯度消失以及卷积神经网络初识

总结一下今日的学习过程

1，上午学习了解了深度网络中的难点

2，了解了经常听到又不知所云的梯度消失问题的概念以及原理

       认识到了Rectified Liner Unit激活函数可以很好的减少梯度消失问题，但没有具体的深入的理解及学习

3，认识到了卷积网络CNN，理解了其大致原理以及实现过程

      结合GitHub上的neural-networks-and-deep-learning算法

     不过代码调试了没有成功，

简单的类似于

ImportError: numpy.core.multiarray failed to import

版本问题需要更新

查看版本

python -c "import numpy; print(numpy.version.version)"

卸载（有的时候需要执行两次，将cuda中已经python中都卸载）

pip uninstall numpy

2，ImportError: cannot import name 'downsample'

将from theano.tensor.signal import downsample

换成

from theano.tensor.signal.pool import pool_2d

3，NameError: name 'xrange' is not defined

4，抱一个关于 nose-parameterized转换成 parameterized 的警告

将 nose-parameterized卸载，重新装 parameterized

5，WARNING (theano.gof.compilelock): Overriding existing lock by dead process '9680' (I am process '16516')

这是由于keras与theano版本的旧的问题造成的，或者是Keras没有安装，这里是没有安装

pip install Keras

6， TypeError: 'float' object cannot be interpreted as an integer

错误语句

minibatch_index in range(num_training_batches):

错误源  num_training_batches = size(training_data)/mini_batch_size

解决方法

将语句num_training_batches = size(training_data)/ mini_batch_size修改，增加一个斜杠/

num_training_batches = size(training_data)// mini_batch_size

复杂的是由于上次配置的theano在GPU环境中出了问题，搁置了没有解决，非常痛苦啊

4，期间下午看了一个 第四届全国高校云计算应用创新大赛 https://cloud.seu.edu.cn/

准备报名参加，深度学习