《深度学习》学习笔记（七）

本篇博文主要介绍AUTO-ENCODER。

self-supervised learning Framework

Basic Idea of Auto-encoder

old feature通过NN Encoder高维变为低维，new feature for downstream tasks。低维通过NN Decoder变为高维。高维变为低维又称为Dimension Reduction。

Why Auto-encoder?

也可以把BERT看作是一个De-noising Auto-encoder

Feature Disentanglement

这个技术就是说可以把本来输入的audio分成两部分，前面部分维度表示content information，后面部分维度表示speaker information。


部分维度表示content，部分维度表示speaker。

Discrete Latent Representation

representation也可以是text，但是train的时候是行不通的。

加上GAN之后是ok的，其实就是cycle GAN。







异常检测的难点在于收集数据，其中异常点比较难收集到。



异常检测的技术有很多，前面简单介绍了用auto-encoder来做异常检测。