这些神经网络调参细节，你都了解了吗

阅读全文请点击

【磐创AI导读】：本文主要介绍了神经网络调参并附有python代码介绍。

今天在写毕设的时候又回顾了一下神经网络调参的一些细节问题，特来总结下。主要从weight_decay，clip_norm，lr_decay说起。

以前刚入门的时候调参只是从hidden_size，hidden_num，batch_size，lr，embed_size开始调，但是后来才逐渐明白embed_size一般是设置完后不用再调的，比如设定为128后，就不要调了，因为embed_size只是表示将词嵌入到几维的空间而已。lr也一般都有固定值，比如选取优化器Adam的时候，lr=0.001，选取优化器SGD的时候，lr=0.01，hidden_num一般设置为1的时候就行，2层以上在简单的网络上只会到的适得其反的效果。

所以剩下该调的也只有hidden_size,batch_size,weight_decay，clip_norm，lr_decay了。但是hidden_size，batch_size大家应该知道怎么调，这里就不讲了。还有其他的调参细节部分，等以后详细用到了再总结给大家。

weight_decay
weight_decay即权重衰退。为了防止过拟合，在原本损失函数的基础上，加上L2正则化，而weight_decay就是这个正则化的lambda参数，一般设置为1e-8，所以调参的时候调整是否使用权重衰退即可。这个防止过拟合的正则化我之前和dropout一起讲过的，想要巩固下，点这里。

pytorch实现代码：

self.HyperParams里封装的就是我的所有参数，而decay是这里说的weight_decay，值为1e-8.

对weight_decay我做了实验，数据对比：

F1为一个评测值，想了解的更加详细的，点这里。
可以从实验看出weight_decay还是有点效果的，但不是对所有的试验有效果，所以这也是调参的一部分。