无监督学习 | Learning Human Language without Human Teaching

笔者在2020年1月10号去听了李宏毅老师的无监督学习讲座，在此做个总结，文末附上李老师的PPT，喜欢的同学请点赞自取。

讲座内容主要分为三部分：

• Learning from Unpaired Data

• Self-supervised Learning

• Meta Learning

1.1

Learning from Unpaired Data

01

1.1.1 使用不成对数据和GAN思想来训练模型

笔者已经在之前的推文提及GAN的原理与实验，还不了解的可以去翻阅一下。

生成对抗网络 | 原理及训练过程

生成对抗网络 | 实验

02

1.1.2 四种样例

总共有四种例子，整体训练思路是一样的，只是不同例子在训练过程中有些trick需要注意，这里笔者就拿自然语言处理的文本生成任务进行介绍。

▲ Learning from Unpaired Data的四个例子

03

1.1.3 具体例子

训练一个生成文本摘要的网络（相当于GAN里面的Generator）