本文是作者对深度学习自然语言处理（NLP）模型调参的经验总结，涵盖了学习率、批次大小、优化器、dropout比例、激活函数、隐藏层大小、初始化方法等通用参数，以及正则化、标准化、CNN和RNN特有参数的讨论。作者提出了如使用Xavier或He初始化器、label smoothing作为正则化技术等策略，并分享了对不同网络结构参数选择的见解。
以下只是我从博客里整理出来的，有很多都没自己试过，也许并不准确。
所有网络都涉及到的参数：
learning rate: 1e-2到1e-5之间。一般设1e-3就可以。
batch size: 16, 32, 64, 128, 256。一般设2^N，具体N取多少可以根据自己的计算资源来决定。
optimizer：Adam，SGD，Adadelta。一般用Adam就可以。
dropout：0.3, 0.5, 0.7, 数据量多的时候也可以不加。一般设0.5。
activation function：常用的就是relu, tanh, 和relu的几个变体(leaky-relu, gelu)。一般用relu, 但RNN优先用tanh。
hidden size：64, 128, 256, 512。之所以设2^N是为了方便一些分头、分片之类的操作。
weight initializer：常用的是random_normal和random_uniform。网上说可以无脑使用Xavier nitializer，但是我又查了查，在激活函数为relu的情况之下，其实应该使用He initializer。
打算采取的策略是embedding用random_uniform，其他地方无脑使用xavier_initializer。
Xavier initializer和He initializer在tensorflow1.12中的实现如下：
# Xavier initia
最低0.47元/天 解锁文章
2658
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
