【2021-07-02更新】补充一个例子:GDAS中有这样一个公式:
minαE(x′,y′)∼DV−logPr(y′∣x′;α,ωα∗) s.t. ωα∗=argminωE(x,y)∼DT−logPr(y∣x;α,ωα) \begin{array}{r} \min _{\alpha} \mathbb{E}_{\left(x^{\prime}, y^{\prime}\right) \sim \mathbb{D}_{V}}-\log \operatorname{Pr}\left(y^{\prime} \mid x^{\prime} ; \alpha, \omega_{\alpha}^{*}\right) \\ \text { s.t. } \omega_{\alpha}^{*}=\arg \min _{\omega} \mathbb{E}_{(x, y) \sim \mathbb{D}_{T}}-\log \operatorname{Pr}\left(y \mid x ; \alpha, \omega_{\alpha}\right) \end{array} minαE(x′,y′)∼DV−logPr(y′∣x′;α,ωα∗) s.t. ωα∗=argminωE(x,y)∼DT−logPr(y∣x;α,ωα)
其中这个 Pr(y∣x;α,ωα∗)\operatorname{Pr}\left(y \mid x ; \alpha, \omega_{\alpha}^{*}\right) Pr(y∣x;α,ωα∗)
可以用以下内容进行分析,这个公式中同时出现了;| ,这就需要确定一下优先级,否则没办法开始理解,而这里分号优先级比较高。
可以这样划分为前边部分: y∣xy \mid xy∣x 和 α,ωα\alpha, \omega_{\alpha}α,ωα, 前边代表一个条件分布,后边代表其中参与的参数,这样一来就清晰了。
分号
P(x;θ) P(x;\theta) P(x;θ)
可以看作变量θ\thetaθ的函数,x代表确定的采样值,加一个θ\thetaθ是代表待估参数。
记忆: 分号代表前后是两类东西,分号前面是x样本,分号后边是模型参数。
逗号
P(A,B)=P(AB) P(A,B)=P(AB) P(A,B)=P(AB)
表示 A和B事件同时发生的概率,是联合概率分布。逗号在这里分开两个事件,有“与”的关系
逗号的优先级高于竖线。
记忆: 逗号代表两者地位平等,代表与的关系
竖线
P(A∣B) P(A|B) P(A∣B)
大多数情况下表示条件概率,表示在B的条件下A发生的概率。
不代表条件概率的时候,与P(A;B)P(A;B)P(A;B)等价
记忆:竖线代表 if,一上面为例,就是如果发生B,发生A事件的概率。
参考
https://blog.csdn.net/qq_34269988/article/details/88885045
https://blog.csdn.net/pipisorry/article/details/42715245
本文详细解析了GDAS(Gradient-based One-shot Architecture Search)中的优化目标公式,探讨了分号、逗号和竖线在概率分布表达式中的含义。分号表示条件分布与模型参数的区分,逗号用于表示联合概率,而竖线则代表条件概率。通过理解这些符号的优先级和用法,有助于深入理解自动机器学习架构搜索中的数学基础。
1万+





