superY_26的博客

提出了一种新颖的两方纵向联邦逻辑回归协议,并在半诚实安全模型下证明了该协议的安全性, 包括模型训练流程和模型推理流程的安全性,且无需对非线性函数使用多项式近似计算,从而保证了联邦逻辑回归协议模型无损。本文提出的联邦逻辑回归算法实现，主要研究的两方的联邦，但在安全性分析中说明在多方场景中，只要不超过一方不诚实的情况也是安全。本文的实现逻辑并不复杂，主要贡献在提出了本文的这种实现逻辑，并论证该逻辑在指定场景下保护了多方的数据安全性。

横向联邦学习PCA降维

概要本文简单理顺《Differentially Private Distributed Principal Component Analysis》论文中的算法原理，它主要提出了一种基于差分隐私的分布式PCA算法，研究了该算法在实验数据以及真实数据中的表现，在参数相同的情况下本算法取得了和没有隐私保护的算法相同级别的效果。算法原理一些数学公式上的符号定义：1、SSS表示分布式中有SSS个站点；2、每个站点的数据集D×NsD\times N_sD×Ns​其中s∈[S]s \in [S]s∈[S]表示有

论文阅读整理【粗读】

论文阅读整理【粗读】

论文阅读整理【粗读】

特征工程对于预测模型的成功非常关键。然而，这个过程是不简单的，并且常常需要人工处理，或者大量的搜索。DNNs可以自动学习特征交互，但他们生成的都是隐式交互并且在很多特征交互的学习中并不一定有效。本文中，我们提出了Deep & Cross Network（DCN），在保持DNN模型优势的同时，引入一个新颖的交叉网络，使得学习一些有界度（bounded-degree）的特征交互更有效。尤其是，DCN显示地在每层应用特征交互，相对DNN模型只花费了极少的代价从而避免了人工特征工程。

在工业应用如推荐或广告的排序系统中，精确地评估点击后转化率（CVR）是非常重要的。传统的CVR主要是用深度学习模型建模，并且取得非常好的效果。然而，在实际应用中遇到了一些特定任务的问题，使得CVR建模遇到了挑战。例如：传统CVR模型只用曝光被点击过的样本训练，却被应用于整个曝光样本空间进行预测。这会导致样本选择偏差的问题。此外，还存在数据极端稀疏的问题，使得模型拟合很困难。本文使用一个全新的视角建模CVR，充分利用用户行为的序列模式（曝光 --> 点击 --> 消费）。...

本文是对原文的翻译，弄懂原文每一句话的意思。声明：鉴于本人英文一般，有翻译不对的地方望指正，谢谢！题目使用点击数据为网页搜索学习深度结构的语义模型 摘要隐含语义模型，比如LSA，目的是将一个query在语义级别和它相关的文本进行映射，这是基于关键字的匹配做不到的。在本文的研究中，我们利用深度学架构搭建了一系列新的隐含语义模型，将queries和documents映射到一个公共的低维空间。被给的query和一个document的相关性通过它们的距离计算得到。本文提出的深度结构语义模型通过点击数据最大

本文是对原文的翻译，弄懂原文每一句话的意思。声明：鉴于本人英文一般，有翻译不对的地方望指正，谢谢！如图是模型框架图中每个模块设计在文中对应的模型定义。题目基于蒸馏的多任务学习：针对提高阅读时长的候选集生成模型摘要在feed推荐中，第一步是候选集的生成。大部分候选集生成模型都是基于CTR预估构建的，没有考虑用户点击之后的满意度。一些标题党item可能被推荐给用户，从而破坏用户体验。解决这个问题的一个方法就是同时给用户点击和用户阅读时长构建多任务学习模型。该方法有两个难点：第一是如何处理没有阅读时

通过用户的历史行为建模用户的动态兴趣偏好，对推荐系统来说，是具有挑战性且重要的。现有模型利用序列神经网络模型将用户的历史行为交互从左到右编码成隐含表示用做推荐。尽管他们的效果不错，我们认为这样从左到右的单向模型不是最优的，因为以下一些限制：a)单向架构限制了用户行为序列隐含表示的能力；b)它们经常假设一个严格有序的序列，并不总是切合实际。为了解决这些限制，我们提出了一个序列推荐模型（BERT4Rec），利用深度双向自注意力建模用户行为序列。

点击率预测时工业应用中一项重要的任务，比如在线公告。最近，基于深度学习的模型被提出，类似一个Embedding&MLP的模型。在这些模型中，大规模的稀疏特征首先被映射成低维的特征向量，然后以组式的转换成固定长度的向量，最后连着一起输入到多层感知机学习特征之间的非线性关系。这种方法，用户特征被压缩成固定长度的表示向量，而忽略了候选广告是什么。这个固定长度的表示向量成了应用瓶颈，给Embedding&MLP模型从丰富的历史行为中有效学习用户多样化兴趣带来了困难。