tensorflow超参数优化_R软件：深度学习下的超参数优化

keras深度学习超参数优化：

R软件下做深度学习

先看你需要什么优化方法。比如网格搜索只适用于模型小、参数范围不大、参数少。我的需求是参数比较多，范围也大，不可以遍历，最好能收敛，但是我的数据集没有工业化那么大。那么根据我的需求，我优先选择kerastuner hyperopt包中的优化算法。

再看你怕不怕麻烦。kerastuner hyperopt包我都试过了，都放弃了。原因是r说明非常简略，调试很麻烦，需要你先完全搞明白python包的语法、r python的语法联系，再去慢慢试。

最后我的选择是普通的优化算法。比如普通的群体优化算法。我最初没碰它的原因是，第一它参数定义很狭窄，一般都是uniform，其次它population很大，运行起来也很慢。如果你用GPU加速，分分钟爆内存，最后它不可以并行优化（其实可以用foreach包人为修改使得优化并行，但是爆内存出错）。最后还是回到它的怀抱。上面的缺点其实都可以慢慢想办法。

其实我试过了python下的超参数优化包，比如hyperopt, hyperbandster（BOHB优化算法：bayesian & hyperband的结合）。我又灰溜溜地回来了。python的调试会秃头，基本上是各个包的版本兼容问题出现的各种error，虽然我都调试成功了，但是bohb优化也都挺慢的，而且收敛也慢。这样想，我干嘛不回到R呢。可以说，五分钟写python代码，一小时调版本兼容。哈哈哈，最主要的是我对python不熟悉吧。

说多了，下面介绍几个R的超参优化工业化算法。

kerastuneR包：

I