超参数优化
转行的炼丹师
这个作者很懒,什么都没留下…
展开
-
AutoML 系列 - Hyperband介绍
本文主要根据《Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization》论文,对Hyperband进行介绍背景随着数据量的增大以及模型复杂度的增加,使用类似贝叶斯优化等方法进行超参数优化会消耗大量的计算资源,所以有必要寻求一种更加快速的算法。该文章的作者将寻找最优超参数的过程视为一个在给定资源( 迭代次数,数据量,特征量等 )下,在无限臂老虎机上进行非随机地探索的过程。在这种想法下提出了 Hyperband .原创 2020-05-24 22:48:00 · 5435 阅读 · 0 评论 -
AutoML 系列 - TPE简介
本文主要对 Tree-structured Parzen Estimator Approach (TPE) 进行介绍SMBO 算法框架包含一系列优化算法,基本框架如下,而这个框架下的一系列算法的区别主要就在于选取的 surrogate model MMM 以及 评价标准 SSS。这里介绍一种基于这个框架的优化方法,Tree-structured Parzen Estimator Approach (TPE)TPE该方法选择的评价标准SSS为 Expected Improvement (E.原创 2020-05-19 16:20:06 · 4693 阅读 · 0 评论 -
AutoML 系列 - Hyperopt的介绍及使用
本文主要对 Hyperopt 和 Hyperopt-Sklearn 进行介绍Hyperopt 为一个超参数优化的库,主要使用的是SMBO ( Sequential model-based optimization )系列算法,包括:random search, Tree-of-Parzen-Estimators (TPE) 等。对于自动超参数优化系统来说,重要的就是给出 objective function 和 configuration space。下面给出一个具体例子from hyperop.原创 2020-05-19 13:11:23 · 791 阅读 · 0 评论