小数据的优化器们尝试

尝试了一下Adam优化器，最高准确率仍为0.6，只不过LR从0.45转化0.5后，准确率达到0.6重新了。

尝试了一直讲的动量，即SGD加了动量效果，没有太大的提升，却更稳定了，但是最高准确率是0.59，确实不行，仿佛被局部最优拖入深渊。

尝试了RMSE，用0.48，最高准确率0.59，用0.5，最高准确率仍是0.6。

这里解说一下：

SGD是最普通的优化器，也可以说没有加速效果，而动量是SGD的改良版，它加入了动量原则。后面的RMSprop又是Momentum的升级版。而Adam又是RMSprop的升级版。不过从这个结果中我们看到，Adam的效果似乎比RMSprop要差一点。所以说并非越先进的优化器，结果越佳。我们在自己的试验中可以尝试不同的优化器，找到那个最适合你数据/网络的优化器。

其他优化器的尝试，后续会放到这里。

怀着历史发展这么久的想法，认为优化器肯定不止这么几个，所以刚刚查了查，在这个网址：https://blog.csdn.net/u011995719/article/details/88988420?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu 2.控制

上发现了更多优化器。可以，那就试试吧。虽然我觉得目前优化器已经到了极限，因为看起来，我们到了0.6的瓶颈，我们需要其他方法解决。