要开展meta learning的相关工作,从0肝起,记录下来。
概念
Meta Learning称为元学习,云里雾里的名字,看了名字根本不知道这是干嘛的。但通俗的理解就是learning to learn,学会学习,目标就是为了让机器学会如何去学习,快速完成学习任务。
近年的热门ai的发展历程可以认为是:deep learning -> reinforcement learning -> meta learning。deep learning的代表就是cnn rnn这些现在看来已经有更好上位替代的网络了。经典的deep learning问题如图片分类、图片识别往往是n个输入对应m个输出这样的朴素简明的关系。
但现实中存在着不少的问题不是输入产生了输出后就再无瓜葛的关系,而是产生的输出会对后续发展有着影响,比如围棋决策,打牌决策。这就是reinforcement learning要解决的问题,而其中最广为人知的reinforcement learning模型就是AlphaGo。
但即便是alphago这样强大优秀的处理围棋等级复杂度的模型,也需要极大规模的数据,精确的reward,和漫长的时间进行训练,那假如要处理更高复杂度的问题,比如星际争霸游戏,或者让机器去玩一个fps游戏,那就极难成功了,因为问题的复杂度大幅提高,而且我们往往不能确定reward,不能无限量的训练。这种情况下我们就需要让机器学会学习,快速学习。人类能够快速学习是因为我们能够利用以往的生活经验,基于此事实,meta learning的想法就是让机器能够利用到其学习经验,指导其快速完成新任务的学习。
研究思路
参考元学习Meta Learning/Learning to learn给出主流的几个研究思路。