Python和深度学习
暗黑Zero
这个作者很懒,什么都没留下…
展开
-
在需要缓存的时候,谨慎使用python的负下标
Python的下标从0开始,那么当我们不想把初项放到递推的数组中的时候,我们可以使用负下标来方便地初始化。比如设f(x)=f(x-1)+something,我们就可以写a = np.zeros(N) a[-1] = some_initial_value for i in range(N) a[i]=f(a[i-1]) + something这样就避免了单独对a[0]进行初始化。但是这样有一个原创 2017-02-14 16:33:51 · 1149 阅读 · 0 评论 -
深层神经网络进行Gradient Check的时候注意delta的大小
神经网络的Backward Pass实现是比较容易出错的,一个不错的做法是实现一个神经网络之后,利用Numeric的方法计算一个粗略的梯度,和你实际上算出来的梯度进行比对,如果差的不多,就说明你实现对了。 前两天做CS231n作业的时候遇到了一个特别奇怪的事,我实现了一个N层卷积层,之后跟M层FC-Relu层的简单神经网络,指定N=1,M=2之后,死活过不了Gradient Check,并且永远...原创 2017-02-16 20:07:29 · 1076 阅读 · 0 评论