superY_26的博客

KKK个参与方，NNN个数据样本D≜ξii1ND≜ξi​i1N​，其中ξ≜xyξ≜xy表示为特征和label。特征向量xi∈R1×dxi​∈R1×d分布在KKK个参与方中xik∈R1×dkk1Kxik​∈R1×dk​k1K​dkd_kdk​表示参与方的特征维度。有一方参与方拥有label，假设为参与方KKK。

No One Idles: Efficient Heterogeneous Federated Learning with Parallel Edge and Server Computation

本文提出一个没有第三方的联邦学习LR算法，使用同态加密计算，该算法允许多方模型训练，并保证数据隐私。使用泰勒展开式作为梯度的近似形式和使用最小批量SGD更新参数训练模型。假设各方为A，Bs，C，其中Bs为可以扩展为多方的设计，A方生成密钥对，并将公钥发送给Bs和C。分别发送给B和C，然后各方更新各自的权重。

风险模型假设用户和中心服务器都是诚实且好奇的。如果用户是恶意的，他们有能力在不被监测的情况下影响聚合结果。操作高维向量；不管计算中涉及到的用户子集，通信是高效的；用户dropout是robust；足够安全双重掩码的目标就是为了防止用户数据的泄露，即使当server重构出用户的masks。首先，每个用户产生一个额外的随机秘钥aua_uau​，并且分布他的shares给其他的用户。生成yuy_uyu​yuxuau∑uvsuv−∑uvsv。

pandas是基于python写的，底层的数据结构是Numpy数据(ndarray)。pandas自身有两个核心的数据结构：DataFrame和Series，前者是二维的表格数据结构，后者是一维标签化数组。polars是用Rust（一种系统级编程语言，具有非常好的并发性和性能）写的，支持Python、Rust和NodeJS。

ydata-quality是一个用于数据质量的库，类似sklearn之于机器学习。通过数据多阶段流程开发评估数据质量。只要你还有可用数据，运行代码，便可得到数据的复杂并详细的全面的评估概要。DuplicatesLabelling该库主要是利用统计学和机器学习的相关知识对数据进行几个方面的整体评估。涉及到很多数据上的处理，处理方法是基于pandas和sklearn。对于大数据集处理非常慢。

提出了一种新颖的两方纵向联邦逻辑回归协议,并在半诚实安全模型下证明了该协议的安全性, 包括模型训练流程和模型推理流程的安全性,且无需对非线性函数使用多项式近似计算,从而保证了联邦逻辑回归协议模型无损。本文提出的联邦逻辑回归算法实现，主要研究的两方的联邦，但在安全性分析中说明在多方场景中，只要不超过一方不诚实的情况也是安全。本文的实现逻辑并不复杂，主要贡献在提出了本文的这种实现逻辑，并论证该逻辑在指定场景下保护了多方的数据安全性。

概要本文简单理顺《Differentially Private Distributed Principal Component Analysis》论文中的算法原理，它主要提出了一种基于差分隐私的分布式PCA算法，研究了该算法在实验数据以及真实数据中的表现，在参数相同的情况下本算法取得了和没有隐私保护的算法相同级别的效果。算法原理一些数学公式上的符号定义：1、SSS表示分布式中有SSS个站点；2、每个站点的数据集D×NsD\times N_sD×Ns​其中s∈[S]s \in [S]s∈[S]表示有

横向联邦学习PCA降维

整理的一些算法知识，包括机器学习LR、SVM、K-Means、决策树、GBDT、LightGBM、DeepFM、DIN、ESMM、DCN、MMoE、NodeVec、LSTM、Transformer、BERT。希望能帮助到找算法岗的同学。

如何评价自己的研究工作，是否值得研究。

通过用户的历史行为建模用户的动态兴趣偏好，对推荐系统来说，是具有挑战性且重要的。现有模型利用序列神经网络模型将用户的历史行为交互从左到右编码成隐含表示用做推荐。尽管他们的效果不错，我们认为这样从左到右的单向模型不是最优的，因为以下一些限制：a)单向架构限制了用户行为序列隐含表示的能力；b)它们经常假设一个严格有序的序列，并不总是切合实际。为了解决这些限制，我们提出了一个序列推荐模型（BERT4Rec），利用深度双向自注意力建模用户行为序列。

模型选择中的基本问题

点击率预测时工业应用中一项重要的任务，比如在线公告。最近，基于深度学习的模型被提出，类似一个Embedding&MLP的模型。在这些模型中，大规模的稀疏特征首先被映射成低维的特征向量，然后以组式的转换成固定长度的向量，最后连着一起输入到多层感知机学习特征之间的非线性关系。这种方法，用户特征被压缩成固定长度的表示向量，而忽略了候选广告是什么。这个固定长度的表示向量成了应用瓶颈，给Embedding&MLP模型从丰富的历史行为中有效学习用户多样化兴趣带来了困难。

vgg提取图像特征，同一张图像两次运行vgg输出不同的结果。

特征工程对于预测模型的成功非常关键。然而，这个过程是不简单的，并且常常需要人工处理，或者大量的搜索。DNNs可以自动学习特征交互，但他们生成的都是隐式交互并且在很多特征交互的学习中并不一定有效。本文中，我们提出了Deep & Cross Network（DCN），在保持DNN模型优势的同时，引入一个新颖的交叉网络，使得学习一些有界度（bounded-degree）的特征交互更有效。尤其是，DCN显示地在每层应用特征交互，相对DNN模型只花费了极少的代价从而避免了人工特征工程。

在工业应用如推荐或广告的排序系统中，精确地评估点击后转化率（CVR）是非常重要的。传统的CVR主要是用深度学习模型建模，并且取得非常好的效果。然而，在实际应用中遇到了一些特定任务的问题，使得CVR建模遇到了挑战。例如：传统CVR模型只用曝光被点击过的样本训练，却被应用于整个曝光样本空间进行预测。这会导致样本选择偏差的问题。此外，还存在数据极端稀疏的问题，使得模型拟合很困难。本文使用一个全新的视角建模CVR，充分利用用户行为的序列模式（曝光 --> 点击 --> 消费）。...

CTR建模的常见小知识，有关建模背后的原理，评估逻辑等

TFRecord是一种存储二进制记录数据的简单格式。协议缓存是一个有效序列化结构化数据的跨平台、跨语言库，协议信息被.proto文件定义，它们常常是理解信息类型最简单的方法。信息是一个灵活的信息类型，用于表达对。它被设计和TensorFlow一起使用，并通过高级APIs使用，如TFX。本文将介绍如何创建、解析、使用信息，然后序列化、读写信息通过文件。TFRecord文件包含一个序列记录，文件只能被按顺序读取。TFRecord文件并不是必须使用。仅仅只是一个序列化字典为字节串的方法。任何字节串在Tenso

本人电脑macbook pro，所以以下内容都是基于macos m1芯片环境。docker desktop的m1芯片版本下载地址。下载直接安装，安装平常的软件一样。docker的常用命令，使用可以显示：更多的使用教程。