7月15日：paper推荐

这段时间一直很忙（懒），所以就没写paper。今天开始一定要开始写！（然后明天就放弃）。

Vector Quantized Models for Planning是一篇特别有意思的paper，因为之前DreamerV2就是把复杂的问题改成离散化，结果效果巨好。这一篇可以说是以这个为基础的。

Return-based Scaling: Yet Another Normalisation Trick for Deep RL这篇很有意思，原因是他想法很简单，但是解决了一个很复杂的问题，就是RL当中的Return的设计。这篇文章即可以当理论读，也可以当应用读，虽然不知道应用效果如何。

Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks这篇也确实很有意思，因为Mixture-of-expert在很多网络当中都可以作为一个提升效果的方法（不仅仅在多任务学习中），这篇是我见到的第一篇其他的方法。

Representation Matters: Improving Observations and Exploration for Robotics就比较mixed。大意就是说，在RL当中，算法可能没有那么重要（尤其是现在model-based算法大行其道的时候），而怎么通过pretraining或者refinement提升encoding的效果是很重要的。这点在dreamer当中很明显。当然结论就没那么好了，基本说的是，差不多都不太好使。

既然说到representation了，那么就不得不提Survae flows: Surjections to bridge the gap between vaes and flows。Flow模型现在很火，但是很可惜效果并不一定很好。这篇可能是最接近于VAE的。如果能做出来一些结果的话，说不定对于RL是有帮助的。