BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems
问题:
提高exploration的效率; 比ε-greedy, Boltzmann, bootstrap- ping, and intrinsic-reward-based都好
背景:
在探索下一个动作的时候(特别是目标很不明确的时候)如何选择,
过去常用是ε-greedy,Boltzmann, bootstrapping, and intrinsic-reward-based ,
我们的方法:使用thompson sampling,从一个 Bayes-by-Backprop的网络抽取蒙特卡洛样本
创新:
- thompson sampling:基于贝叶斯思想,全部用概率分布来表达不确定性。
- 在每一次选择时,都根据上一个最优动作的后验概率分布来确定下一个动作如何选。;;;;已知的初始动作值分布,然后每一步都更新这个分。。如果给定足够多的次数的话,我们可以考虑所有的行动,以及每个行动下的所有可能奖励,然后计算,挑出最好的。
- 蒙特卡洛样本:
- Bayes-by-Backprop的网络:
假设一个L层的MLP网络,每一层是w = {Wl, bl}l=1到L: yˆ = WL · φ(WL−1 · …· φ(W1 ·x+b1)+…+bL−1)+bL, φ 是激活函数。
给w加一个先验分布。然后学习参数w的后验分布。p(w|D) ∝ p(w)p(D|w)。D = {xi,yi}i从1到N,是训练集。但是这样不可导。所以使用q(w|θ)来近似前面的数学设定。
θ = {(μi,ρi)}Di=1,σi = log(1 + exp(ρi)),wi 从正态分布N(μi,σi2)中抽样,即服从Gaussian分布。
使用KL散度来使q(w|θ)近似p(w|D)。
具体的优化目标是 f(D,θ) = log q(w|θ) − log p(w) − log p(D|w)。
但是还不明白和贝叶斯有什么关系
具体过程:使用Q-learning。使用bayes网络来近似Q函数。使用MLP网络而不是CNN或者RNN。使用DQN,有两个网络。
BBQN with intrinsic reward:
不是很明白,主要是一种trick,目的是
https://zhuanlan.zhihu.com/p/48042454
实验结果:
很不错