模型可解释性

给出的理由是商业，法律，人文的要求。
基于可解释提高机器学习性能
可解释机器学习的重要目标：让人感觉安全与可控（可解释性也是一种学习任务）
深度学习很难解释：反向传播，梯度消失，特征学习，局部最优，各种结构。
模型能力越强越难解释，深度学习执行的任务本身就很难解释。
利用梯度解释模型：计算像素值对应分类得分的梯度值。

迁移学习

重用已有知识
机器学习角度：一个写通过将别的相关领域中的知识应用到本应用中的学习模式。
迁移学习要解决的问题：
给定一个研究领域和任务，如何利用相似领域进行知识的迁移，从而达到目标。
深度学习中的迁移学习：
freeze:重新训练网络输出层，固定特征提取层。
Finetuning：继续训练整个网络。

自动编码器

自动编码器应用：数据降维、网络初始化、图像生成、图像增强、数据降维

监督式算法：一堆数据对应标签，一堆新数据预测标签
只有数据没有标签怎么办：一堆数据学习数据之间的共性。
自动编码器基本框架：
编码器：将原始高维特征数据映射为低维特征数据。
解码器：将低纬度的压缩特征重构回原始数据。
核心：输入特征等于输出特征
损失L1损失
自动编码器的学习目标：输入特征等于输出特征。
训练结果：编码器的输出是更抽象、更健壮的高级特征。

模型压缩

压缩模型：当下原因：终端设备能力有限，公司成本计算能力和电量等
更深意义：智能：利用有限资源做无限事情。
冗余模型、剪枝模型
知识蒸馏：
教师网络：大规模网络模型，集成网络模型，极深网络模型
学生网络：简单网络模型

生成对抗学习

AI现阶段瓶颈：完成一个任务需要大量的数据，丰富的训练经验，复杂的模型，大量人工标记的目标值。
生成式对抗网络。
生成器和判别器（零和博弈）
生成器：学习伪造数据。
判别器：学习判别数据的真实性。