论文 | 2021年Oxford博士论文《识别和利用结构以实现可靠的深度学习》

微信公众号：图科学实验室Graph Science Lab
原创 Amartya Sanyal 图科学实验室Graph Science Lab 2022-11-20 00:44 发表于台湾
收录于合集#博士论文36个

图科学实验室Graph Science Lab分享有关图理论、图表示学习、图神经网络、图+交叉学科（生物、化学、物理 …）、图+交叉算法（DL、RL、NLP、CV …）最新的科研资讯、论文、开源工具、招生/招聘、会议/竞赛、课程/书籍。欢迎持续关注。


本文确定了深度神经网络中的结构，可以利用这些结构来缓解深度学习算法不可靠性的上述原因。在第4章中，我们将展示如何最小化神经网络中单个权重矩阵的一个属性(称为稳定秩)，以减少网络记忆噪声的趋势，而不会牺牲其在无噪声数据上的性能。

在第5章中，我们证明了记忆标签噪声或进行不适当的表示学习，使实现对抗性鲁棒性成为不可能。第6章表明，神经网络表示空间上的低秩先验增加了神经网络对对抗性扰动的鲁棒性，而在实践中不会导致与精度的任何权衡。
在第7章中，我们将重点介绍焦点损失函数(focal loss)的使用，它根据神经网络对每个样本的分类情况对每个样本的损失分量进行差异加权，作为交叉熵的替代损失函数，以最小化神经网络中的错误校准。

在第8章中，我们首先定义了一个名为加密预测即服务(Encrypted Prediction As a Service, EPAAS)的新框架，以及一系列计算和隐私约束。本文提出使用可与二值神经网络一起使用的全同态加密方案，以及一组代数和计算技巧，在计算高效的同时满足EPAAS的所有条件。

论文题目：Identifying and Exploiting Structures for Reliable Deep Learning
作者：Amartya Sanyal
类型：2021年博士论文
学校：University of Oxford（英国牛津大学）
下载链接：
链接: https://pan.baidu.com/s/1M7-JAXYi5VThakIQ_UOakg?pwd=2ruj

硕博论文汇总：
链接: https://pan.baidu.com/s/1Gv3R58pgUfHPu4PYFhCSJw?pwd=svp5

图 6.3：图 6.3(a) 展示了如何在训练期间将 LR 层添加为即插即用层。图 6.3(b) 显示了在测试期间移除了 LR 层并且生成的表示已经是低秩的说明。





微信群

公众号