优达学城 深度学习 任务3

先上传保存着，等有空的时候再修改

problem 1

在任务二最后一步基础上做就好，我不太理解两个矩阵的l2-loss应该怎么加，根据自己的理解，正则化是为了抵消异常的特征输入，因此应该是两个L2-loss一起加，结果不错，正确率到了92%

problem 2

problem2是让我们自己实验感受一下overfit导致的问题。
我这里强制从10个batch中训练
可以看出minibatch的正确率一直是100%
但是最后test set 正确率只有84.9%

problem 3

problem3 是在Problem2的基础上使用dropout，体会dropout在小数据集上也会有比较好的结果

problem 4

我增加了一层1024个节点的隐藏层，训练10000次