《DRL》P0-数学符号（基础符号、强化学习符号、强化学习术语）

数学符号

基础符号

$$\text{x}$$ scalar 标量

$$\mathbf{x}$$ vector 向量

$$\mathbf{X}$$ matrix 矩阵

$$\mathbb{R}$$ the set of real numbers 实数集

$$\frac{\mathrm{d}y}{\mathrm{d}x}$$ derivative of y with respect to x，标量的倒数

$$\frac{\partial y}{\partial x}$$ partial derivative of y with respect to x，标量的偏导数

$${\nabla }_{\mathbf{x}}y$$ gradient of y with respect to x，向量的梯度

$${\nabla }_{\mathbf{X}}y$$ matrix derivatives of y with respect to X，矩阵的导数

$$P(X)$$ a probability distribution over a discrete variable，离散变量的概率分布

$p(X)$ a probability distribution over a continuous variable, or over a variable whose type has not been specified，连续变量（或者未定义是连续或离散的变量）的概率分布

$$X\sim p$$ the random variable X has distribution，随机变量$X$满足概率分布$p$

$$\mathbb{E}[X]$$ expectation of a random variable，随机变量的期望

$$\mathrm{Var}[X]$$ variance of a random variable，随机变量的方差

$$\mathrm{Cor}(X,Y)$$ covariance of two random variables，两个随机变量的协方差

$$D_{\mathrm{KL}}(P\Vert Q)$$ Kullback-Leibler divergence of P and Q，两个概率分布的 KL散度

$$\mathcal{N}(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma })$$ Gaussian distribution over x with mean µ and covariance Σ，平均值为 µ 且协方差 为Σ的多元高斯分布

强化学习符号

$$s,s^{\prime }$$ state 状态

$a$ action 动作

$r$ reward 奖励

$R$ reward function 奖励函数

$\mathcal{S}$ set of all non-terminal states 非终结状态

$${\mathcal{S}}^{+}$$ set of all states, including the terminal state，全部状态，包括终结状态

$$\mathcal{A}$$ set of actions，动作集合

$$\mathcal{R}$$ set of all possible rewards，奖励集合

$$\mathbf{P}$$ transition matrix，转移矩阵

$t$ discrete time step，离散时间步

$T$ final time step of an episode，回合内最终时间步

$$S_t$$ state at time t，时间 t 的状态

$A_t$ action at time t，时间 t 的动作

$R_t$ reward at time t, typically due, stochastically, to$A_t$ and $$S_t$$，时间 $t$ 的奖励，通常为随机量，且由$A_t$ 和$$S_t$$决定

$G_t$ return following time t，回报

$$G_t^{(n)}$$ n-step return following time t，n 步回报

$\pi$ policy, decision-making rule，策略

$\pi (s)$ action taken in state s under deterministic policy π，根据确定性策略 π，状态 s 时 的动作

$$\pi (a|s)$$ probability of taking action a in state s under stochastic policy π，根据随机性策略 π，状态s时执行动作a的概率

$$p(s^{\prime },r|s,a)$$ probability of transitioning to state s′, with reward r, from state s and action a，根据 状态s和动作a，使得状态转移成s′且获得奖励r的概率

$$p(s^{\prime }|s,a)$$ probability of transitioning to state s′, from state s taking action a，根据状态 s 和动作a，使得状态转移成s′的概率

$$v_{\pi }(s)$$ value of state s under policy π (expected return)，根据策略 π，状态 s 的价值（回 报期望）

$$v_{\ast }(s)$$ value of state s under the optimal policy，根据最优策略，状态 s 的价值

$$q_{\pi }(s,a)$$ value of taking action a in state s under policy π，根据策略 π，在状态 s 时执行动 作a的价值

$$q_{\ast }(s,a)$$ value of taking action a in state s under the optimal policy，根据最优策略，在状态 s 时执行动作a的价值

$$V,V_t$$ estimates of state-value function $$v_{\pi }(s)$$ or $$v_{\ast }(s)$$，状态价值函数的估计

$$Q,Q_t$$ estimates of action-value function $$q_{\pi }(s,a)$$ or $$q_{\ast }(s,a)$$，动作价值函数的估计

$$\tau$$ trajectory, which is a sequence of states, actions and rewards , $$\tau$$ =(S0,A0,R0,S1,A1,R1,···)，状态、动作、奖励的轨迹

$$\gamma$$ reward discount factor, $$\gamma$$ ∈ [0,1]，奖励折扣因子

$ϵ$ probability of taking a random action in $ϵ$-greedy policy，根据 $ϵ$-贪婪策略，执行随机动作的概率

$$\alpha ,\beta$$ step-size parameters，步长

$$\text{λ}$$ decay-rate parameter for eligibility traces，资格迹的衰减速率

强化学习中术语总结

$R$ 是奖励函数，$R_t=R(S_t)$是MRP中状态$S_t$的奖励，$R_t=R(S_t,A_t)$是MDP中的奖励， $S_t\in S$。

$$R(\tau )\text{ 是轨迹 }\tau \text{ 的 }\gamma \text{-折扣化回报,}R(\tau )=\sum _{t=0}^{\infty }{\gamma }^t{R}_t$$

$p(\tau )$是轨迹的概率：

• $$\begin{array}{rl}& p(\tau )={\rho }_0(S_0)\prod _{t=0}^{T-1}p(S_{t+1}|S_t)\text{ 对于 MP 和 MRP,}{\rho }_0(S_0)\text{ 是起始状态分布(Start-State}\\ & \text{Distribution)。}\end{array}$$
• $$p(\tau |\pi )={\rho }_0(S_0)\prod _{t=0}^{T-1}p(S_{t+1}|S_t,A_t)\pi (A_t|S_t)\text{ 对于 MDP,}{\rho }_0(S_0)\text{ 是起始状态分布}$$

$$J(\pi )\text{ 是策略 }\pi \text{ 的期望回报,}J(\pi )={\int }_{\tau }p(\tau |\pi )R(\tau )={\mathbb{E}}_{\tau \sim \pi }[R(\tau )]$$

$${\pi }^{\ast }\text{ 是最优策略:}{\pi }^{\ast }=\arg \underset{\pi }{\max }J(\pi )$$

$$v_{\pi }(s)\text{ 是状态 }s\text{ 在策略 }\pi \text{ 下的价值(期望回报)}$$

$$v_{\ast }(s)\text{ 是状态 }s\text{ 在最优策略}\text{下的价值(期望回报)}$$

$$q_{\pi }(s,a)\text{ 是状态 }s\text{ 在策略 }\pi \text{ 下采取动作}s\text{的价值(期望回报)}$$

$$q_{\ast }(s,a)\text{ 是状态 }s\text{ 在最优策略}\text{下采取动作}s\text{的价值(期望回报)}$$

$$V(s)\text{ 是对 MRP 中从状态 }s\text{ 开始的状态价值的估计}$$

$$V^{\pi }(s)\text{ 是对 MDP 中在线状态价值函数的估计,给定策略 }\pi \text{,有期望回报:}$$

• $$V^{\pi }(s)\approx v_{\pi }(s)={\mathbb{E}}_{\tau \sim \pi }[R(\tau )|S_0=s]$$

$$Q^{\pi }(s,a)\text{ 是对 MDP 下在线动作价值函数的估计,给定策略 }\pi \text{,有期望回报:}$$

• $$\begin{array}{r}{Q}^{\pi }(s,a)\approx q_{\pi }(s,a)={\mathbb{E}}_{\tau \sim \pi }[R(\tau )|S_0=s,A_0=a]\end{array}$$

$$V^{\ast }(s)\text{ 是对 MDP 下最优动作价值函数的估计,根据最优策略,有期望回报:}$$

• $$\begin{array}{r}{V}^{\ast }(s)\approx v_{\ast }(s)=\underset{\pi }{\max }{\mathbb{E}}_{\tau \sim \pi }[R(\tau )|S_0=s]\end{array}$$

$$Q^{\ast }(s,a)\text{ 是对 MDP 下最优动作价值函数的估计,根据最优策略,有期望回报:}$$

• $$\begin{array}{r}{Q}^{\ast }(s,a)\approx q_{\ast }(s,a)=\underset{\pi }{\max }{\mathbb{E}}_{\tau \sim \pi }[R(\tau )|S_0=s,A_0=a]\end{array}$$

$$A^{\pi }(s,a)\text{ 是对状态 }s\text{ 和动作 }a\text{ 的优势估计函数:}$$

• $$\begin{array}{r}{A}^{\pi }(s,a)=Q^{\pi }(s,a)-V^{\pi }(s)\end{array}$$

$$\text{在线状态价值函数 }{\upsilon }_{\pi }(s)\text{ 和在线动作价值函数 }{q}_{\pi }(s,a)\text{ 的关系:}$$

• $$v_{\pi }(s)={\mathbb{E}}_{a\sim \pi }[q_{\pi }(s,a)]$$

$$\text{最优状态价值函数 }{v}_{\ast }(s)\text{ 和最优动作价值函数 }{q}_{\ast }(s,a)\text{ 的关系:}$$

• $$v_{\ast }(s)=\underset{a}{\max }{q}_{\ast }(s,a)$$

$$a_{\ast }(s)\text{ 是状态 }s\text{ 下根据最优动作价值函数得到的最优动作}:$$

• $$a_{\ast }(s)=\arg \underset{a}{\max }{q}_{\ast }(s,a)$$

$对于在线状态价值函数的贝尔曼方程:$

• $$v_{\pi }(s)={\mathbb{E}}_{a\sim \pi (\cdot |s),s^{\prime }\sim p(\cdot |s,a)}[R(s,a)+\gamma v_{\pi }(s^{\prime })]$$

$对于在线动作价值函数的贝尔曼方程:$

• $$\begin{array}{r}{q}_{\pi }(s,a)={\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,a)}[R(s,a)+\gamma {\mathbb{E}}_{a^{\prime }\sim \pi (\cdot |s^{\prime })}[q_{\pi }(s^{\prime },a^{\prime })]]\end{array}$$

$对于最优状态价值函数的贝尔曼方程:$

• $$v_{\ast }(s)=\underset{a}{\max }{\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,a)}[R(s,a)+\gamma v_{\ast }(s^{\prime })]$$

$对于最优动作价值函数的贝尔曼方程:$

• $$\begin{array}{r}{q}_{\ast }(s,a)={\mathbb{E}}_{s^{\prime }\sim p(\cdot |s,a)}[R(s,a)+\gamma \underset{a^{\prime }}{\max }{q}_{\ast }(s^{\prime },a^{\prime })]\end{array}$$