给出的理由是商业,法律,人文的要求。
基于可解释提高机器学习性能
可解释机器学习的重要目标:让人感觉安全与可控(可解释性也是一种学习任务)
深度学习很难解释:反向传播,梯度消失,特征学习,局部最优,各种结构。
模型能力越强越难解释,深度学习执行的任务本身就很难解释。
利用梯度解释模型:计算像素值对应分类得分的梯度值。
迁移学习
重用已有知识
机器学习角度:一个写通过将别的相关领域中的知识应用到本应用中的学习模式。
迁移学习要解决的问题:
给定一个研究领域和任务,如何利用相似领域进行知识的迁移,从而达到目标。
深度学习中的迁移学习:
freeze:重新训练网络输出层,固定特征提取层。
Finetuning:继续训练整个网络。
自动编码器
自动编码器应用:数据降维、网络初始化、图像生成、图像增强、数据降维
监督式算法:一堆数据对应标签,一堆新数据预测标签
只有数据没有标签怎么办:一堆数据学习数据之间的共性。
自动编码器基本框架:
编码器:将原始高维特征数据映射为低维特征数据。
解码器:将低纬度的压缩特征重构回原始数据。
核心:输入特征等于输出特征
损失L1损失
自动编码器的学习目标:输入特征等于输出特征。
训练结果:编码器的输出是更抽象、更健壮的高级特征。
模型压缩
压缩模型:当下原因:终端设备能力有限,公司成本计算能力和电量等
更深意义:智能:利用有限资源做无限事情。
冗余模型、剪枝模型
知识蒸馏:
教师网络:大规模网络模型,集成网络模型,极深网络模型
学生网络:简单网络模型
生成对抗学习
AI现阶段瓶颈:完成一个任务需要大量的数据,丰富的训练经验,复杂的模型,大量人工标记的目标值。
生成式对抗网络。
生成器和判别器(零和博弈)
生成器:学习伪造数据。
判别器:学习判别数据的真实性。