感觉调超参数有点像一个贪心算法。
参数A调到最好之后,在参数A的基础上调参数B,参数AB调到最好之后,在参数AB的基础上调参数C........
模型的性能只能跟着参数一点点往上走,很大可能最终结果只是较好,而不是最好。
😭甚至在第一步选择一个较优的参数A的时候(此时参数BC....只能都是随机选择的,这时候选出来的当前较优参数A可能受当前后续参数BC....的影响,并没那么好),已经直接决定了此次调参过程中模型能力的上限,甚至可能很差。除了让参数ABC.....的可选值全组合,此题何解?
PS:配一个无关紧要的调参图