本文详细解析了GDAS（Gradient-based One-shot Architecture Search）中的优化目标公式，探讨了分号、逗号和竖线在概率分布表达式中的含义。分号表示条件分布与模型参数的区分，逗号用于表示联合概率，而竖线则代表条件概率。通过理解这些符号的优先级和用法，有助于深入理解自动机器学习架构搜索中的数学基础。
【2021-07-02更新】补充一个例子：GDAS中有这样一个公式：
min α E ( x ′ , y ′ ) ∼ D V − log Pr ( y ′ ∣ x ′ ; α , ω α ∗ ) s.t. ω α ∗ = arg min ω E ( x , y ) ∼ D T − log Pr ( y ∣ x ; α , ω α ) \begin{array}{r} \min _{\alpha} \mathbb{E}_{\left(x^{\prime}, y^{\prime}\right) \sim \mathbb{D}_{V}}-\log \operatorname{Pr}\left(y^{\prime} \mid x^{\prime} ; \alpha, \omega_{\alpha}^{*}\right) \\ \text { s.t. } \omega_{\alpha}^{*}=\arg \min _{\omega} \mathbb{E}_{(x, y) \sim \mathbb{D}_{T}}-\log \operatorname{Pr}\left(y \mid x ; \alpha, \omega_{\alpha}\right) \end{array} min
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
