今晚8:00 | 杜克大学计算进化智能中心（CEI Lab）—— 高效鲁棒深度学习专题！...

AITIME论道

于 2022-04-14 10:15:00 发布

阅读量335

点赞数

文章标签：神经网络算法人工智能大数据编程语言

原文链接：https://mp.weixin.qq.com/s?__biz=MzIzOTAxOTk3Nw==&mid=2247500932&idx=2&sn=a37ca8af24c800ce9aecd52678485774&chksm=e932f622de457f3411dfbac0b9e060d761ebf720b4ddc1f41c2b61749b0b380b19fd3d8d7d83&scene=126&&sessionid=0

版权

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

杜克大学 CEI Lab

杜克计算进化智能中心（CEI Lab）隶属于杜克大学电子与计算机工程系，在陈怡然教授和李海教授的共同指导下，开展关于处理认知任务的新型计算平台的前沿研究。组内主要研究方向集中在纳米电子元件，新型及仿生的计算体系架构，新型存储器件，嵌入式与边缘计算系统，以及大型神经网络的加速、安全与联邦学习。

4月13日、14日、15日晚上8:00，本期特别邀请陈怡然教授和杜克大学CEI Lab的七位学者们将给大家带来精彩的分享！

扫描二维码预约直播

（或点击阅读全文预约）

4月14日 20:00-21:30

高效鲁棒深度学习

杨幻睿：

本科毕业于清华大学电子工程系，目前就读于杜克大学电子与计算机工程系，师从李海和陈怡然老师。杨幻睿即将在5月获得博士学位毕业，并将加入加州大学伯克利分校从事博士后研究。杨幻睿的主要研究方向为提升深度学习模型的运行效率和鲁棒性。

分享内容：

面向低精度量化的神经网络训练算法

报告简介：

对神经网络进行低精度量化，尤其是混合精度量化，是提升神经网络部署效率的重要方法之一。然而，如何让神经网络适应低精度的表示，如何选取最合适的量化精度，依然存在很多没有解决的问题。本报告将从两方面探讨低精度神经网络的训练方法。为了获得最优的量化精度，我们提出了BSQ比特稀疏量化算法，使模型能在训练过程中自发得到合适的混合精度。为了使模型更适应量化带来的性能影响，我们进一步提出了用权值鲁棒性描述模型泛化能力和低精度表现的理论模型，并依据此模型提出HERO训练算法以提升模型的权值鲁棒性，进而获得泛化能力强且对低精度量化鲁棒的模型。两种方法为获得更高效且性能更好得神经网络模型提供了可能性。

张屯厚:

本科毕业于复旦大学微电子系，目前是杜克大学电子与计算机工程系二年级博士生，师从陈怡然和李海老师。他的主要研究方向自动机器学习，具体为基于拓扑感知的神经网络架构搜索。

分享内容：

基于拓扑感知的高效神经网络架构搜索

报告简介：

神经网络架构搜索是机器学习自动化中的重要一环。现有的神经网络架构搜索工作基于现有网络模块进行搜索，这极大限制了可探索的网络架构并约束了网络的潜在性能。此外，由于现有搜索方法没有利用神经网络结构与模块中的拓扑信息，搜索过程非常耗时且并不能准确的找到良好和高效的架构。为了解决这些问题并充分利用神经网络架构中的拓扑信息，我们提出了一套基于拓扑感知的神经架构搜索方法以探索新颖的神经网络模块，并将其泛化成有向无环图的形式。我们首先提出了AutoShrink算法，用于逐步缩减巨大的有向无环图搜索空间，这让我们在短时间内搜寻高效的神经网络模块。其次，我们提出NASGEM算法，利用拓扑信息为结构相似的神经网络模块赋予相似的图编码和表达，这为搜索算法提供更好的先验知识和更准确的神经网络架构性能评估。在主流的计算机视觉任务上，我们提出的方法在获得了高精度、高效的神经网络架构的同时，极大地减少了搜索时间和开销。

张静阳：

本科毕业于清华大学电子工程系，目前是杜克大学电子与计算机工程系三年级博士生，师从李海和陈怡然老师。他的主要研究方向为提升深度学习模型的安全性和可靠性，具体包括对抗攻击/防御，开集识别/OOD检测。

分享内容：

细粒度OOD检测/开集识别初探

报告简介：

OOD检测/开集识别是关于深度学习系统可靠性的重要问题。先前工作大多关注粗粒度的场景而忽视了细粒度情景。细粒度环境中，未知样本可能与已知样本有着极高的视觉/语义相似度。检测这些细粒度未知样本进而变得十分困难。本工作中，我们首先构建了四个大型的针对细粒度OOD检测的测试环境，并发现已有方法对细粒度未知样本检测效果不佳。基于初始实验和分析，我们发现检测的难点在于现有方法不能很好的约束模型对于细粒度未知样本的输出。进而我们提出了MixOE来解决这一问题。MixOE在四个测试环境中均显著提升了细粒度OOD检测精度。我们希望该工作可以帮助未来研究更好地探索细粒度OOD检测这一有挑战性的问题。

4月15日 20:00-21:00

软硬件协同优化专题

李石宇：

本科毕业于清华大学自动化系，目前是杜克大学电子与计算机工程系三年级博士生，师从李海和陈怡然老师。他的主要研究方向为计算机体系结构以及深度学习系统的软硬件协同设计。

分享内容：

通过软硬件协同设计加速稀疏卷积神经网络

报告简介：

通过剪枝去除冗余权值是一种常见的压缩神经网络的方法。然而，由于剪枝所生成的稀疏模式较为随机，难以有效被硬件利用，之前方法实现的压缩比与硬件上实际时间的推理加速有较大的差距。而结构化剪枝方法又因为对剪枝过程加以限制，只能实现较为有限的压缩比。为了解决这一问题，本工作中，我们设计了一种硬件友好的压缩方法。通过分解原始权重矩阵，我们将原来的卷积分解为两个步骤，对输入特征的线性组合以及使用基卷积核的卷积操作。基于这一结构，我们相应设计了稀疏神经网络加速器来高效地跳过冗余操作，实现提升推理性能和能耗比的目的。

谢知遥：

本科毕业于香港城市大学，博士毕业于杜克大学，师从陈怡然和李海教授。研究方向包括机器学习与芯片设计自动化，尤其是智能化的芯片设计方法。谢知遥将加入香港科技大学任助理教授。他曾在多家半导体公司实习，包括Cadence，Synopsys，NVIDIA，Arm。

分享内容：

可用于大规模商业化处理器的全自动化功耗模拟架构

报告简介：

而随着摩尔定律日益失效，获得每一代CPU性能提升变得越来越困难。为了获得更好的性能，CPU内的功耗与电流需求不断增加，CPU的功耗成为一个日益严重的问题。相比之下 CPU的输电技术进展依然缓慢。这导致最终CPU获得的电压低于设计电压。为了解决这些问题，本报告将介绍APOLLO框架，它使用一套统一的机器学习模型同时对设计和运行阶段的CPU功耗进行极低开销的快速实时计算。它自动选取极少量与功耗最相关的CPU信号作为输入，然后建立快速的模型，用于对每个周期的功耗进行预测或监测。这种功耗计算能力可能会极大改变CPU的设计和使用方式，同时开启新的应用领域。同时这个方法的整个流程是完全自动化的，不依赖任何工程师的经验。所以理论上它可以用于任何芯片设计。它在商业化的CPU设计Neoverse N1和Cortex-A77上得到了充分验证。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“PhD-4”，将拉您进“AI TIME PhD 交流群-4”！