干货！理解二值化网络训练原理以及优化器选取

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

在推荐系统和广告平台上，内容定向推广模块需要尽可能将商品、内容或者广告传递到潜在的对内容感兴趣的用户面前。扩充候选集技术(Look-alike建模)需要基于一个受众种子集合识别出更多的相似潜在用户，从而进行更有针对性的内容投放。然而，look alike建模通常面临两个挑战: (1) 一个系统每天可能需要处理成百上千个不同种类的内容定向推广实例(例如体育、政治、社会等不同领域的内容定向推广)。因此，我们很难构建一个泛化的方法，同时针对多样的定向推广任务扩充高质量的受众候选集。(2) 一个内容定向推广任务的受众种子集合可能非常小，而一个基于有限种子用户的定制化模型往往会产生严重的过拟合。为了解决以上的挑战，我们提出了一种新的两阶段框架Meta Hybrid Experts and Critics (MetaHeac)。在离线阶段，我们在不同种类的内容定向推广任务的历史行为数据上，采用元学习的方法训练一个泛化初始化模型。这个模型可以同时抓取不同任务之间的关系，从而能够快速适应新类别内容推广任务。在线上阶段，针对一个新的内容推广实例，模型能够基于给定的种子集合和高线训练得到的泛化初始化模型，快速训练出这个实例的定制化推广模型。我们通过高线实验和线上实验验证了MetaHeac的有效性。目前，该框架已部署到微信中，用于部分内容定向推广场景。

本期AI TIME PhD直播间我们邀请到中科院计算技术研究所的博士生——朱勇椿，为我们带来报告《基于元学习的内容定向推广》。

刘泽春：

卡内基梅隆大学访问学者，香港科技大学博士生，由郑光廷教授指导，从事深度学习和计算机视觉。研究主要聚焦于模型压缩与加速，比如量化(quantization) ，通道剪枝(channel pruning)，神经网絡搜索(NAS) 、知识蒸馏(knowledge distillation)等。她总共发表十余篇论文于机器学习和计算机视觉领城顶级期刊和会议，如ICML、ICLR、NeurIPS，CVPR、ICCV、 ECCV、AAAI、IJCV、TIP等(包括8篇一作工作)，也是以上期刊会议的审稿人，学术引用量1000+。

个人主页: http://zechunliu.com。

01

 背  景 

（1） 二值化网络介绍

经典实数网络一般是采用32位的单精度浮点数，二值化网络是量化实数值网络的一种极端形式，当我们对经典实数网络进行量化时，当数据压缩到1-bit时，该网络就被称为二值化网络。二值化网络中的特征图和权重都只用1和-1两个值来表示。