联邦学习数学公式纯手推(逻辑回归为例)
=========================================================
以下每个算法都从数据、模型、代价函数以及梯度下降四方面来推导
1.逻辑回归
1.1 基本思想
经典的逻辑回归是一个二分类算法(分类标签0和1),核心思想是在线性回归的基础上加了一个sigmoid激活函数,即线性+非线性,而sigmoid函数有一个特点,所有定义域内的数值都会映射到(0,1)之间,左右都是开区间,这就类比于概率值,可以把所有的值域的数看成是预测正类的概率值,如此,则规定0.5是一个分界,高于0.5看作1类,低于0.5看作0类
1.2 sigmoid
原函数h=g(z)=1/(1+e^-z)取值范围(0,1)
导函数h’=h(1-h)取值范围(0,0.25]
2.联邦学习
2.1 背景
隐私保护、数据安全和行业竞争需求导致的“数据孤岛”问题
2.2 本质
一种分布式机器学习技术或机器学习框架,多方联合建模,数据不动模型动
2.3 目标
保证数据隐私安全以及合法合规,实现共同建模,提升AI模型的效果
2.4 分类
横向联邦学习
纵向联邦学习
联邦迁移学习(样本特征均不相同,目前落地应用较少,还只停留在学术层面)
3.横向逻辑回归
3.1 数据要求
特征相同,样本不同
3.2 应用
相同行业(金融领域)
例如:银行+监管——联合反洗钱建模
3.3 比较代价和梯度
代价函数:
@staticmethod
def compute_loss(values, coef, intercept):
X, Y = load_data<