下一个深度学习的风口在哪里？

作为研究从业者，对于前沿热点和研究热门方向的关注是必须的。深度学习作为人工智能领域机器学习最热门的方法，最近几年的发展可谓日新月异。

什么是深度学习？深度学习当前最主要的技术有哪些？下一个深度学习的风口在哪里？

深度学习的研究热门主要集中在对比学习和多模态学习方面。

在讲对比学习之前，先讲一讲Self-Supervised（自监督）和无监督（Unsupervised）。

什么是自监督学习？

自监督学习（SSL）是一种特殊类型的表示学习（representation learning），能够从无标签数据集中学习良好的数据表示。它的目的是从无监督数据集构建有监督的学习任务。

为什么要自监督学习？

1.数据标记是昂贵的，因此高质量的标记数据集是有限的。

2.学习良好的表达方式可以更容易地将有用的信息传递给各种下游任务。

eg.下游任务只有几个例子。

e g.新任务的零射击转移。

自监督学习任务也称为 pretext tasks（代理任务）。

 

还有一种形式叫做无监督的学习，无监督学习是从无标记的训练数据中推断结论。最典型的无监督学习就是聚类分析,它可以在探索性数据分析阶段用于发现隐藏的模式或者对数据进行分组。无监督学习主要是从实用性上去考虑。一些算法不一定是需要对数据进行标签。

而对比学习（Contrastive Learning）的目标是：将属于同一类的点簇在嵌入空间中拉在一起，同时将来自不同类的样本簇分开。

对比学习的主要技术：数据增强（Data Augmentation）

数据增强设置对于学习良好的嵌入至关重要。它在不修改语义的情况下将非本质变化引入到示例中，从而促使模型学习表示中的本质部分。

数据增强主要分为以下几种形式——

一、图像增强

基本图像增强（随机作物、颜色失真、高斯模糊、颜色抖动、随机翻转/旋转等）、扩充策略和图像混合。

 

二、文本扩充

几种主要技术——

AutoAugment（Cubuk等人，2018）：灵感来自NAS

RandAugment（Cubuk等人2019）：减少了AutoAugment中的NAS搜索空间。

PBA（基于种群的扩增；Ho等人2019）：进化算法

UDA（无监督数据增强；Xie等人2019）：最小化未标记示例的预测分布与其未标记增强版本之间的KL差异。

三、图像混合

如：混合（Zhang等人2018）：两幅图像的加权像素组合。

Cutmix（Yun等人2019）：将一幅图像的局部区域混合到另一幅图像中。