点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入!
1月5日晚 7:30-8:30
AI TIME 特别邀请CIKM2021 Best Short Paper获得者——毛海涛,给大家带来分享:《基于信息瓶颈理论的神经元竞争初始化策略》
哔哩哔哩直播通道
★ 嘉宾简介 ★
毛海涛:
电子科技大学信息与软件工程学院四年级本科生。主要研究兴趣为:神经网络基础研究,自适应图神经网络,金融知识图谱
本篇工作为毛海涛于微软亚洲研究院实习期间由研究员杜仑,首席研究员付强共同指导完成,并荣获CIKM2021 Best Short Paper。
个人主页:ME - 悫躍 (huanhuqueyue.github.io)
分享内容:
基于信息瓶颈理论的神经元竞争初始化策略
报告简介:
神经网络初始化作为神经网络中训练不可或缺的一环,对神经网络优化过程有着重要的影响。先前的工作更多关注如何避免训练中出现梯度消失、梯度爆炸等现象,却很少关注怎样的初始化能加快神经网络的收敛速度,提高神经网络的泛化性能。我们从信息瓶颈理论出发,为神经网络初始化提供一种新视角,并设计出一套通用的基于神经元竞争的初始化策略。
论文博客: https://zhuanlan.zhihu.com/p/398198523
直播结束后大家可以在群内进行提问,请添加“AI TIME小助手(微信号:AITIME_HY)”,回复“PhD-3”,将拉您进“AI TIME PhD 交流群-3”!
AI TIME微信小助手
主 办:AI TIME
合作媒体:学术头条、AI 数据派
合作伙伴:智谱·AI、中国工程院知领直播、学堂在线、蔻享学术、AMiner、 Ever链动
AI TIME欢迎AI领域学者投稿,期待大家剖析学科历史发展和前沿技术。针对热门话题,我们将邀请专家一起论道。同时,我们也长期招募优质的撰稿人,顶级的平台需要顶级的你,
请将简历等信息发至min.gao@aminer.cn!
微信联系:AITIME_HY
AI TIME是清华大学计算机系一群关注人工智能发展,并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索,加强思想碰撞,打造一个知识分享的聚集地。
更多资讯请扫码关注
我知道你
在看
哦
~
点击 阅读原文 预约直播!