第六七节 文字

无监督学习的意义

对于大部分数据来讲，一般只有数据，没有标签  只有x没有y

无监督学习  没有标签，自己提取自己的特征

无监督方法

机器学习：降维：PCA（主成成分分析）

          聚类

深度学习方法：生成对抗网络

              自监督学习：对比学习和生成式监督  自己当自己的标签

对比学习：让自己和自己靠的更近  数据增广

对抗生成网络：GAN

生成式自监督：

把自己的一部分当成标签y

编码器 解码器

词编码  词向量化

self-attention :自注意力机制

序列输入    考虑前后关系

记忆单元（“传家宝”） RNN（循环）   LSRTM（长短期记忆）

RNN和LSRTM 太慢了

只能一个一个来，一代接一代  只能串行不能并行

self-attention  并行不需要等待前面的结果