# 强化学习笔记
标签(空格分隔): 强化学习
# 1. 概述
## 1.1 智能体主要组成
### 1. 策略
智能体在各个状态下的各种可能的行为概率
\begin{aligned}
\pi (a|s) = P(A_t = a | S_t = s)
\end{aligned}
### 2. 值函数
1). 状态值函数
\begin{aligned}
V_{\pi}(s) & = E_{\pi}[G_t|S_t = s]\\
&=E_{\pi}[R_{t+1}+\gamma R_{t+2}+ \dots |S_t = s]
\end{aligned}
2). 状态行为值函数(简称行为值函数)
\begin{aligned}
Q_{\pi}(s,a) & = E_{\pi}[G_t|S_t = s,A_t = a]\\
&=E_{\pi}[R_{t+1}+\gamma R_{t+2}+ \dots |S_t = s,A_t = a]
\end{aligned}
### 3. 模型
环境模型至少要解决两个问题:
1). 状态转换概率 $ P_{ss'}^a $
\begin{aligned}
P_{ss'}^a = P[S_{t+1} = s'|S_t = s,A_t =a]
\end{aligned}
2). 立即回报 $ R_s^a$
\begin{aligned}
R_s^a = E[R_{t+1} = s'|S_t = s,A_t =a]
\end{aligned}
## 1.2 重要概念
### 1. 学习与规划
学习基于试错
规划基于模型
### 2. 探索与利用
探索:挖掘环境信息
利用:最大化回报
### 3. 预测与控制
预测:计算状态值函数
控制:寻找最优策略
#2. 马尔可夫决策过程
## 2.1 基本概念
### 1. 马尔可夫性
\begin{aligned}
P(S_{t+1} |S_t) = P(S_{t+1} |S_t,\dots,S_2,S_1)
\end{aligned}
### 2. 马尔可夫过程