#今日论文推荐# 小数据如何学习？吉大最新《小数据学习》综述，26页pdf涵盖269页文献阐述小数据学习理论、方法与应用

#今日论文推荐# 小数据如何学习？吉大最新《小数据学习》综述，26页pdf涵盖269页文献阐述小数据学习理论、方法与应用

对大数据的学习为人工智能(AI)带来了成功，但注释和训练成本昂贵。未来，在小数据上学习是AI的最终目的之一，这需要机器像人类一样识别依赖小数据的目标和场景。一系列的机器学习模型正在以这种方式进行，如主动学习、少样本学习、深度聚类。然而，几乎没有理论保证它们的泛化性能。而且，它们的大多数设置都是被动的，即标签分布是由一个指定的采样场景显式控制的。该调查遵循PAC (Probably Approximately Correct)框架下的不可知论主动抽样，使用监督和非监督方式分析小数据学习的泛化误差和标签复杂性。通过这些理论分析，我们从两个几何角度对小数据学习模型进行了分类: 欧几里得和非欧几里得(双曲)均值表示，并给出了它们的优化解。随后总结了一些可能受益于小数据学习的潜在学习场景，并对其潜在的学习场景进行了分析。最后，一些具有挑战性的应用，如计算机视觉，自然语言处理，可能受益于学习小数据也被综述。

“那是一只猫在床上睡觉，男孩在拍大象，那些是要坐飞机的人，那是一架大飞机……”李飞飞说:“这是一个三岁的孩子在描述她看到的图片。”2015年1月，她在科技娱乐设计(TED)上发表了一篇著名的演讲“我们如何教计算机理解图片”。在现实世界中，人类可以根据自己的先验知识，只依靠一张图片来识别目标和场景。然而，机器可能需要更多。在过去的几十年里，人工智能(AI)[1][2]技术通过学习大数据[3][4]，帮助机器变得像人类一样聪明。通过对人类大脑神经元的传播进行建模，构建了一系列具有表现力的AI系统，如深蓝[5]，AlphaGo[6]。当然，人工智能的天赋不是天生的。大数据训练有助于人工智能识别不同的目标和场景。在处理大数据方面，采用MapReduce[7]、Hadoop[8]等技术访问大规模数据，提取对AI决策有用的信息。具体来说，MapReduce分布在多个异构集群上，Hadoop通过云提供商处理数据。然而，尽管我们采用了这些大数据处理技术，但对大规模数据进行训练和注释的成本相当高。
一种新颖的观点认为，小数据革命正在进行，对小数据进行训练，使其具有预期的性能是人工智能的最终目的之一。从技术上讲，人类专家希望缓解对大数据的需求，为AI系统找到新的突破，特别是深度神经网络[9]的配置。相关工作包括有限标签[10][11]、较少标签[12][13][14]、较少数据[15][16]等，已经被低资源深度学习研究者实现。在形式上，少样本学习[17]被称为低资源学习(low-resource learning)，是一个以有限信息研究小数据的统一课题。基于Wang等人的综述[18]，少样本学习的一个显式场景是特征生成[19]，即根据给定的有限或不足的信息生成人工特征。另一种具有隐式监督信息的场景更具挑战性，它依赖于用那些高信息量的样例(如私人数据)对学习模型[19][20]进行再训练。理论上，大多数的少样本学习场景是被动的，即标签分布是由一个指定的抽样场景显式控制的。因此，主动学习[21]吸引了我们的眼睛，其中标签获取是由学习算法或人类控制的。
与少样本学习不同，主动学习的注释场景没有那么有限。主动学习算法可以随时停止迭代采样，因为算法性能不理想，或者注释预算耗尽。主动学习有两类: 假设类[22]上的主动抽样理论和实现场景[23]上的主动抽样算法，其中理论研究给出了这些算法范式的标签复杂性和收敛性保证。典型的理论分析来自PAC ((Probably Approximately Correct))[24]风格，它针对诸如[25]这样的不可知论设置。为了控制主动采样，存在一种搜索目标数据的误差不一致系数，该系数能最大限度地提高假设更新，其中这些更新要求是积极的、有帮助的。因此，主动抽样也是一个假设剪枝[26]的过程，它试图从给定的假设类中找到最优假设，其中假设从版本空间[27][28]维持到类的决策边界[29]。在几何上，封闭类的版本空间通常嵌入在一个管状结构[30][31]中，该管状结构与球面类具有同胚拓扑。

论文题目：A Survey of Learning on Small Data
详细解读：https://www.aminer.cn/research_report/62ea23bd7cb68b460ffa99ebhttps://www.aminer.cn/research_report/62ea23bd7cb68b460ffa99eb
AMiner链接：https://www.aminer.cn/?f=cs