强化学习：训练加速技巧

相比于监督学习和非监督学习，（深度）强化学习模型的训练过程显得更加的缓慢。因此，可能训练过程中需要一些技巧，希望可以提高的 训练效率。

根据以往模型训练和近期项目中的一些经验，汇总出一些有助于训练加速和模型收敛的策略或技巧，以供参考。

什么会导致训练慢

大概有一下几方面。

庞大的探索空间

• 一般来说，强化学习模型往往有着庞大的需要探索的空间 { ( S , A ) } \{(S,A)\} { (S,A)}。
• 即便对于相对简单的表格型问题，需要探索的空间大小≈状态空间大小×动作空间大小（可能积分更准确，考虑到不同的状态空间，可能对应着的动作空间大小也不相同)，需要探索的空间也很大。
• 以三子棋(Tic-Toc-Toe) 为例,状态空间大小为$|S|=3^9$的量级，动作空间为$|A|=3^{}$