2021-03-16

# 强化学习笔记

标签（空格分隔）： 强化学习
# 1. 概述
## 1.1 智能体主要组成
### 1. 策略
智能体在各个状态下的各种可能的行为概率
\begin{aligned}
\pi (a|s) = P(A_t = a | S_t = s)
\end{aligned}
### 2. 值函数
 1). 状态值函数
\begin{aligned}
V_{\pi}(s) & = E_{\pi}[G_t|S_t = s]\\
&=E_{\pi}[R_{t+1}+\gamma R_{t+2}+ \dots |S_t = s]
\end{aligned}
 2). 状态行为值函数（简称行为值函数）
\begin{aligned}
Q_{\pi}(s,a) & = E_{\pi}[G_t|S_t = s,A_t = a]\\
&=E_{\pi}[R_{t+1}+\gamma R_{t+2}+ \dots |S_t = s,A_t = a]
\end{aligned}
### 3. 模型
环境模型至少要解决两个问题：
    1). 状态转换概率 $ P_{ss'}^a $ 
    \begin{aligned}
    P_{ss'}^a = P[S_{t+1} = s'|S_t = s,A_t =a]
    \end{aligned}
    2). 立即回报 $ R_s^a$
    \begin{aligned}
    R_s^a = E[R_{t+1} = s'|S_t = s,A_t =a]
    \end{aligned}

## 1.2 重要概念
### 1. 学习与规划
学习基于试错
规划基于模型
### 2. 探索与利用
探索：挖掘环境信息
利用：最大化回报
### 3. 预测与控制
预测：计算状态值函数
控制：寻找最优策略

#2. 马尔可夫决策过程
## 2.1 基本概念
### 1. 马尔可夫性
\begin{aligned}
    P(S_{t+1} |S_t) = P(S_{t+1} |S_t,\dots,S_2,S_1)
\end{aligned}
### 2. 马尔可夫过程