RS-FAIRFRS: COMMUNICATION EFFICIENT FAIR FEDERATED RECOMMENDER SYSTEM

RS-FAIRFRS: COMMUNICATION EFFICIENT FAIR FEDERATED RECOMMENDER SYSTEM

Anonymous authors
Paper under double-blind review
communication efficient fair federated recommender system
ICLR 2023

1. What does literature study?

1. 结合随机抽样和确定每轮通信中要抽样的客户端数量以保持模型在FRS中的准确性；训练本地客户端建立公平的全局模型，以减少客户端层面的人口偏见。

2. What’s the innovation?

1. Past shortcomings

1. 监督学习算法通过在训练损失中添加公平约束来减轻群体偏见，这需要与服务器共享受保护的属性

2.Innovation:

1. 提出的基于随机抽样的公平联邦推荐系统无需分享其受保护的属性。
2. 提供了客户端采样复杂度界限提高了通信成本。
3. 在两个数据集（ML-1M，ML-100K）和不同的敏感特征（年龄和性别）中证明RS-FAIRFRS有助于降低通信成本和人口统计偏差，提高了模型的准确性。

3. What was the methodology?

利用FedRec作为基础模型，使用矩阵分解识别潜在特征向量。最小化损失函数：
${\mathcal{L}}^{\mathcal{M}\mathcal{F}}={\sum }_{u\in [n]}{\sum }_{i\in [m]}{p}_{ui}{\left(r_{ui}-U_u\cdot V_i^T\right)}^2+{\lambda }^r\left({\Vert V_i\Vert }^2+{\Vert U_u\Vert }^2\right)$

1.随机采样

利用霍夫丁约束支持不替换的抽样，随机均匀采样（无替换，不重复）将包含来自每个集群的大致相等数量的客户端。
采样$C^{\mathcal{T}}$个客户端的平均项目向量：${\bar{V}}_i^{\tau }=\frac{1}{n\tau }{\sum }_{i\in C^{\tau }}{V}_i$，总的$n$个客户端的平均项目向量：${\bar{V}}_i^n=\frac{1}{n}{\sum }_{i=1}^n{V}_i$。使样本和整个训练集预测评分的期望相等$\mathbb{E}[U_u^T{\bar{V}}_i^{\tau }]=\mathbb{E}[U_u^T{\bar{V}}_i^n]$。

2.双公平更新

精度奇偶性$${\mathcal{L}}^{ap}=\frac{1}{|g|}\sum _{u\in g}\frac{1}{\left|I_u\right|}\sum _{I\in I_u}{\left({\hat{r}}_{ui}-r_{ui}\right)}^2-\frac{1}{|\neg g|}\sum _{u\in \neg g}\frac{1}{\left|I_u\right|}\sum _{I\in I_u}{\left({\hat{r}}_{ui}-r_{ui}\right)}^2$$，表示两个群体之间的差异。对于模型$\theta$和$\bar{\theta }$，如果${\mathcal{L}}^{ap}(\theta )＜{\mathcal{L}}^{ap}(\bar{\theta })$，则$\theta$更公平。
服务器端20%的客户端数据用来评估公平损失：$\underset{U,V}{\min }{\mathcal{L}}^{MF}+{\lambda }^f{\mathcal{L}}^{ap}$以获得$V_{fair}$发给客户端。
客户端从服务器下载$V_{fair}$和$V_i$；公平目标函数为：$$\underset{U,V}{\min }{\mathcal{L}}^{MF}+\eta (||V_{fair}-V_i|{|}^2)$$

4. What are the conclusions?

1. 结论：
   
   
   经过实验客户端抽样比率为$$\mathcal{T}=35\%$$作为理想值；＞18和男性群体数量多可以获得更低的损失；RS-FairFRS可以实现公平性。

5. others

男多女少，平均抽样

1. 我们提出了一种具有两个阶段的双公平向量更新技术。在阶段1中，服务器聚合接收到的项目向量，并对其进行训练，使其在一小部分数据上公平。在第2阶段，客户端将本地误差降至最低，并学习更接近全局公平项目向量的项目向量。

2. 利用FedRec作为基础模型，客户端上传项目梯度，从服务器下载项目向量。
   （1）FRS中的人口统计学偏差问题，量化为不同组间平均错误率差异。
   （2）给出了FRS的样本复杂度边界。

3. 集中式RS领域的公平性：
   （1）Sirui Yao and Bert Huang. Beyond parity: Fairness objectives for collaborative filtering. Advances in neural information processing systems, 30, 2017.
   RecBole-FairRec-Optimized/focf.py at 5c88cb8c2f2586febe6bff8832d7bdc326e8392b · Keyvantajfar/RecBole
   RecBole-FairRec/focf.py at 08a7f4cf330477bc4e755749df7dda826e96384a · TangJiakai/RecBole-FairRec
   （2） Yunqi Li, Hanxiong Chen, Zuohui Fu, Yingqiang Ge, and Yongfeng Zhang. User-oriented fairness in recommendation. In Proceedings of the Web Conference 2021, pp. 624–632, 2021.
   https://github.com/rutgerswiselab/user-fairness