斯坦福教授告诉你：为什么要学习元学习「 CS330 笔记 (一) 」

写在前面

本系列博客为斯坦福大学 Stanford CS330： Multi-Task and Meta-Learning 2019 的学习笔记。博客中出现的图片均为课程演示文档的截图。笔记为课程的内容整理，主要是为了方便自己理解和回顾，若有纰漏和错误，烦请评论指出，谢谢啦 ~ 。希望对你有帮助。如需转载，请注明出处。
CS330课程传送门

---

课程介绍

本系列课程将会涉及的话题

1. 问题描述:
   阐述什么是多任务学习，元学习。
2. 多任务学习基础知识:
3. 元学习常见算法:
   包括了黑盒算法（black-box approach）、基于优化的元学习（optimization-based meta-learning）、度量学习（metric learning）方法等多种多任务学习算法。
4. 贝叶斯分级模型(Hierarchical Bayesian models)和元学习:
   如何在贝叶斯分层模型下归纳这些常见算法。
5. 多任务RL（Multi-task RL），有限制的目标RL（goal-conditioned RL,），分层RL（ hierarchical RL）
6. 元增强学习（Meta-reinforcement learning）

问题导入

当我们试图把agent从虚拟环境中带出来，让它在真实环境中学习经验获得知识时，机器人成为了我们的不二之选。但是，当我们在真实环境中使用机器人时，它会遇到很多挑战：

1. 机器人需要概括(generalize)其遇到的不同任务，目标，环境等。
2. 机器人需要有对常识的理解以更好地处理任务。
3. 无法想当然地用监督的方式解决任务，对于标签的提供和具体语境中标签的含义，很难做到准确的添加 。

实验为机器人通过试错的方式（trial and error）学习组装飞机。有趣的一点是这个机器人当时还是在没有视觉输入的情况下解决任务。

虽然这样会存在需要样例数据较多等问题，但它的好处是机器人采用的算法并不是只能解决这个特定问题的算法，而是一个可以对较广范围的操作任务处理的算法。

实验为机器人把积木通过合适的位置放到盒子中。在这个实验中，机器人就已经有视觉输入了。 <