机器学习笔记10_Self-supervised Learning

本文是李宏毅机器学习的笔记，这是第十节，介绍了Bert、GPT、Auto-encoder、Anomaly Detection等自监督学习技术。

1. Bert & GPT

监督学习和自监督学习的区别如下所示：
监督学习由数据及其标签进行模型训练。而自监督学习只有数据进行模型训练，也就是说标签不是标注出来的，而是从输入数据中获取到的。

例如使用Masking Input技术进行训练，通过盖住输入数据中的一个字，然后然后模型预测盖住的字是什么。


可以用于下一句话预测

可以用于预训练，然后通过预训练好的模型，可以应用于各种下游任务。

GLUE是自然语言处理的评价指标，其数据规划，体量庞大，并且包含了很多子任务(列表所示)，可以较全面的评价模型的性能。

下图是Bert的一些模型的GLUE分数。

How to use bert

bert用于分类任务：


bert用于序列输入序列输出类似的任务。


可以提取关键概念，然后实现问答系统。