深度学习理论与技术的重点研究方向

1.下一代深度学习理论与技术

背景与目标

面向泛在（如移动计算）、高风险（如精准医疗）、高可靠性（如智能交通）等应用场景，突破深度学习理论基础薄弱、模型结构单一、资源消耗过高、数据依赖性强的瓶颈。

研究下一代深度学习理论基础；非神经网络、资源节约型深度学习模型、方法及高效优化技术；适于小样本/无监督样本、强化/博弈学习的深度学习方法与技术。

具体研究内容

• 针对深度学习模型高度非线性、参数空间分层且巨大等复杂特性，建立一套揭示深度学习工作机理的理论框架、形成一组深度学习模型分析工具与方法

• 研制出一系列基于非神经网络结构的新型机器学习模型、方法与技术，在深度学习模型可解释性、高扩展性、易配置性上取得突破

• 提出存储和计算资源消耗低的多种深度学习模型与方法，设计快速高效、适用于非凸深度学习训练的新型梯度与非梯度优化技术，大幅提升深度学习技术部署能力

• 研制面向小样本、无监督样本、弱标记样本、非单标记样本的深度学习方法与技术，降低深度学习对于大规模高质量标注数据的严重依赖

• 拓广深度学习应用领域，提出适用于在线学习、强化学习、博弈学习的深度学习方法与技术。

2.深度神经网络处理器的新原理、新结构和新方法

背景与目标

深度神经网络已在多种云端和终端应用中起到了关键性支撑作用。然而，现有芯片远远难以满足深度神经网络的速度和能效需求，有必要探索能高效处理大规模深度神经网络的新型处理器的设计原理、体系结构、指令集和编程语言；探索深亚微米工艺（≤16nm