机器学习中的优化问题可以分为参数优化问题和超参数优化问题。
在确定了训练集
D
D
D、假设空间
f
f
f以及学习准则后，如何找到最优的模型
f
(
x
,
θ
∗
)
f(x,\theta ^{*})
f(x,θ∗)就成了一个最优化问题，模型
f
(
x
,
θ
)
f(x,\theta)
f(x,θ)中的参数
θ
\theta
θ称为模型的参数，可以通过优化算法进行学习。除了可以学习的参数
θ
\theta
θ外，还有一类参数用来定义模型结构或者优化策略，这类参数称为超参数
(
h
y
p
e
r
−
p
a
r
a
m
e
t
e
r
)
(hyper-parameter)
(hyper−parameter)。
常见的超参数包括：聚类算法中的类别个数、梯度下降法的步长、正则化的系数、神经网络的层数、支持向量机中的核函数等。超参数的选取一般都是组合优化问题，很难通过优化算法来自动学习。因此，超参数优化是机器学习中一个经验性很强的技术，通常是按照个人经验来设定的，或者通过搜索的方法对一组超参数组合进行不断试错调整。此外，在贝叶斯框架下，可以将超参数理解为参数的参数，即控制模型参数分布的参数。
欢迎交流！ QQ：3408649893
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
