自编码与变分自编码

神经网络的本质是信息压缩特征提取，神经网络公式h = w * x , 做内积，所以神经网络是个相关性判断

研究AI顶级公司研究损失。

无监督学习是在没有数据标签的情况下，寻找数据特征。

但是无监督学习的标签是自身，自监督学习，是无监督学习的一种特殊情况，他是将数据切分N块，然后用各个块来预测其他块。

弱监督学习，是将无监督和有监督结合，先用无监督学，使得网络有提取特征能力，然后让有监督学习去矫正，这样少量数据矫正

就可以学习出来，更像人类的学习

 

深度学习中的无监督学习:

自编码（Autoencoder,AE）, 输入图片，还原出原图片，输入（x, x）,  均方差与输入做损失。 可以做图压缩、图加密，但是有失真。  如果输入=输出，那么系统理解了知识，就是编解码

 

分布，一堆神经元的输出，激活函数是针对单个神经的约束。

让输出服从某种分布，然后在该分布中重采样（标签），采用标准正态分布，做为输入，传入到解码器中，从新得到新的输出。

KL距离是唯一能衡量分布之间距离的公式，相对熵计算连续值（公式表示）的计算的距离才叫KL, 交叉熵来计算散点是离散点的距离

 

 

目前四种生成模型：

变分VAE自编码

GNN

流模型Flow

自回归

 

自编码方式换人脸，换特征，不是整个脸：

先找到人脸，MTCN追踪人脸，把五官的特征点拿到，然后把图像放到自编码网络编码阶段，做特征图；然后把要替换的脸输入进行编码，找到人脸，五官的特征点；然后在图像还原时，把特征图里拿到的特征点替换掉（两个特征图的矩阵运算）。