第二节课 问答系统结构

第二节课 问答系统结构

1. 基于搜索的问答系统

需要解决的问题

基于语料库：1. 文本表示 2. 相似度

基于知识图谱：1. 实体抽取 2. 关系抽取

2. 强化学习

不需要大量的训练数据，注重交互和试错

模型：每移动一步，智能体接收对环境的观测$S_t$，接收所获得的回报$R_t$，执行应采取的行动$A_t$，环境接收智能体的行动$A_t$，发送智能体的观测$S_{t+1}$，发送智能体的回报$R_{t+1}$

预测问题：评价给定的策略

控制问题：找出最优策略（主要的）

马尔科夫回报过程：对状态进行量化，由四元组$(S,P,r,\gamma )$描述，$S$为状态空间，$P$为状态转移矩阵，$r$为状态期望回报，$\gamma \in [0,1]$是折现因子
$$\begin{gathered} r_s=E(R_{t+1}|S_t=s)=\sum _{r\in R}rP(r|S_t=s) \\ {G}_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots \end{gathered}$$
状态价值函数
$$V(s)=E(G_t|S_t=s)=E(R_{t+1}+\gamma V(S_{t+1})|S_t=s)=r_s+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}V(s^{\prime })$$
贝尔曼期望方程
$$\begin{gathered} V(s)=r_s+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}V(s^{\prime }) \\ V=r+\gamma PV,V=(I-\gamma P{)}^{-1}r \end{gathered}$$
小规模问题：直接解方程求解

大规模问题：用迭代方法求解

马尔科夫决策过程：对状态下行动指定回报进行量化，由五元组$(S,A,P,R,\gamma )$描述，$S$为状态空间，$A$是行动空间，$P$为状态转移矩阵，$R$为行动期望回报，$\gamma \in [0,1]$是折现因子（行动分为确定性策略和非确定性策略）
$$r_s^a=E(R_{t+1}|S_t=s,A_t=a)$$
策略
$$\pi (a|s)=P(A_t=a|S_t=s)$$
状态转移矩阵
$$\begin{gathered} p_{s{s}^{\prime }}^a=P(S_{t+1}=s^{\prime }|S_t=s,A_t=a) \\ {p}_{s{s}^{\prime }}=\sum _{a\in A}P(A_t=a|S_t=s)P(S_{t+1}=s^{\prime }|S_t=s,A_t=a),p_{s{s}^{\prime }}^{\pi }=\sum _{a\in A}\pi (a|s)p_{s{s}^{\prime }}^a \\ {r}_s^{\pi }=\sum _{a\in A}\pi (a|s)r_s^a \end{gathered}$$
行动价值函数
$$q_{\pi }(s,a)=E(G_t|S_t=s,A_t=a)$$
状态价值函数
$$v_{\pi }(s)=\sum _{a\in A}\pi (a|s)q_{\pi }(s,a)$$
行动价值的贝尔曼期望方程
$$q_{\pi }(s,a)=r_s^a+\gamma \sum _{s^{\prime }\in S}{p}_{s{s}^{\prime }}^a\sum _{a^{\prime }\in A}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })$$
状态价值的贝尔曼期望方程
$$\begin{gathered} V_{\pi }(s)=\sum _{a\in A}\pi (a|s)(r_s^a+\gamma \sum _{s^{\prime }\in S}{p}_{s{s}^{\prime }}^a{V}_{\pi }(s^{\prime })) \\ {V}_{\pi }=r_{\pi }+\gamma P^{\pi }{V}_{\pi },V_{\pi }=(I-\gamma P^{\pi }{)}^{-1}{r}^{\pi } \end{gathered}$$
预测问题：计算$V_{\pi }$，小规模问题：直接解方程求解，大规模问题：用迭代方法求解$V^{(k+1)}=r^{\pi }+\gamma P^{\pi }{V}^{(K)}$

控制问题：策略的好坏用状态价值来评价：$\pi \ge {\pi }^{\prime }$如果$V_{\pi }(s)\ge V_{{\pi }^{\prime }}(s),\forall s$

最优策略：$V_{{\pi }^{\ast }}(s)\ge V_{{\pi }^{\prime }}(s),\forall s,\forall {\pi }^{\prime }$

最优状态价值：$V_{\ast }(s)=V_{{\pi }^{\ast }}(s)$

最优行动价值：$q_{\ast }(s,a)=q_{{\pi }^{\ast }}(s,a)$

贪心策略：$\pi (a|s)=1ifa=\arg \max q_{\pi }(s,a)otherwise0$

状态价值的贝尔曼最优方程
$$V_{\ast }(s)=\underset{a\in A}{\max }(r_s^a+\gamma \sum _{s^{\prime }\in S}{p}_{s{s}^{\prime }}^a{V}_{\ast }(s^{\prime }))$$
行动价值的贝尔曼最优方程
$$q_{\pi }(s,a)=\arg \underset{a\in A}{\max }(r_s^a+\gamma \sum _{s^{\prime }\in S}{p}_{s{s}^{\prime }}^a\underset{a^{\prime }\in A}{\max }{q}_{\ast }(s^{\prime },a^{\prime }))=\arg \underset{a\in A}{\max }(r_s^a+\gamma \sum _{s^{\prime }\in S}{p}_{s{s}^{\prime }}^a{V}_{\ast }(s^{\prime }))$$
求解最优策略：

价值迭代
$$V_{k+1}(s)=\underset{a\in A}{\max }(r_s^a+\gamma \sum _{s^{\prime }\in S}{p}_{s{s}^{\prime }}^a{V}_k(s^{\prime }))$$
策略提取
$${\pi }_{\ast }(s)=\arg \underset{a\in A}{\max }(r_s^a+\gamma \sum _{s^{\prime }\in S}{p}_{s{s}^{\prime }}^a{V}_{\ast }(s^{\prime }))$$

3. 分词

常用库有jieba，SnowNLP，LTP，HanNLP…

基于匹配的方式：（以“我们经常有意见分歧”，max_len=5为例）

1. 前向最大匹配

2. 后向最大匹配

缺点：1. 效率慢（max_len) 2. 歧义 3. 细分可能更好

基于概率统计的方式：

维特比算法：示意图如下