李宏毅：Tuning Hyperparameters（超参数）

1、grid search vs random search

有时候random search的方法还是不错的，因为top k的结果已经相差不大。所以没有必要扫过所有的参数组合，只要取前k名的其中一个结果就好了。

有sample到K的几率：

2、model-based hyperparameter optimization

不一定好用

3、reinforcement learning（强化学习）

用RNN来决定network架构

（1）找到最好的activation function：

（2）找到learning rate：