神经网络中常见错误问题

总结andrej karpathy在神经网络中六种常见错误上的笔记学习

（1）在使用大的数据集训练神经网络时候先使用小数据集测试排除一些常见错误，对于数据我们一一般会使用三种处理方法：min-batch SGD将所有数据作为一个批次，这种做法能保证训练一个大的批时候能够保证梯度朝着一个正确的梯度方向，但是大部分我们使用min-batch，然后调节其中的批量大小这个超参数

（2）忘记使用网络切换训练/评估模型针对模型训练和评价时候出现的批量标准化和退出方法模式
（3）忘记设置.zero _ grad（）在pytorch中忘记了在.backward（）之前.zero _ grad（）会出现各种nan，导致结果很差，寻找原因是打印出来梯度看看是不是某些层参数为0，说明几乎没有学习。

（4）防止将softmaxed参数传给损失函数，一般情况是可以run运行但是想法没法work。

（5）batchNorm时候，没有对线性/二卷积层的bias = False或者忘记了将其包含在输出层，这种虚假的参数将会出现和所说的一样。这里特别注意如果卷积层后面BatchNormallzation卷基层就不需要设偏置参数b，只需要将其参数w设置就行。

（6）view（ ）的使用和permute（ ）的使用。例如张量tensor的转换问题：将一个（2，12）的tensor改为（4，2，3）的tensor，这种情况不能直接使用view（）而要使用permute（ ）来交换axis（转换2D的matrix）：

tc.manual_seed(1)
x = tc.rand(2,12)
print(x)
y = x.permute(1,0)
print(y)
x = y.view(4,3,2)
print(z)
a = z.permute(o,2,1)
print(a)
这个例子中的算法优化方案是可以先使用view（2，4，3），再使用permute（1，0，2）会更加让代码简洁。

（7）tensorflow中的tf.Summary( )的value是simple_value不是simplevalue
(8)分析（4）中的激活函数参数直接传给loss函数损失中错误是两者的数据类型不一样
（9）tensorlfow使用过程中容易留下进程，训练后要kill 进程，防止并行过程中不指定end而留下缓存。