第六章：用FATE从零实现纵向线性回归

本章利用FATE从零开始实现一个简单的纵向线性回归模型，本章以实验为主。

与第5章一样，本章的实验运行在FATE单机版环境上，因此要求读者预先安装FATE单机版。FATE单机版的安装步骤可参考4.2节或FATE的GitHub官方文档。

6.1 数据集的获取与描述

我们使用波士顿房价预测数据集（Boston Housing)作为本章的实验数据集。Boston Housing数据隼已经内置在中，可以直接加载查看。

使用sklearn库加载数据集之后，利用看前5个样本数据，如图6-1所示。Boston Housing数据集一共有506条样本数据，前13列分别对应13维的特征数据，最后一列"MEDV"农示房屋的均值价格（单位：1000美元）。

6.2纵向数据集切分

为了能够有效地模拟纵向联邦的案例，首先在本地将BostonHousing数据集切分为纵向联邦的形
式。假设当前有两方参与纵向朕邦训练，如图6-2所示。

从BostonHousing数据集中抽取前406条作为训练数据，将后面100条作为评估测试数据。

• 训练数据集切分：从406条训练数据中随机抽取360条数据和前8个特征作为公司A的本地数据，文件保存为housing_1_train.csv。同样，从这406条训练数据中抽取380条数据和后5个特征，以及标签MEDV,作为公司B的本地数据，文件保存为housing_2_train.csv。将这两份数据分别发送到公司A和公司B，该过程如图6-3所示。

  

• 测试数据集切分：从100条评估测试数据中随机抽取80条数据和前8个特征作为公司A的本地测试数据，文件保存为housing_1_eval.csv。再从这100条测试数据集中随机抽取85条数据和后5个特征，以及标签MEDV,作为公司B的本地测试数据，文件保存为housing_2_eval.csv。同样，将这两份数据分别发送给公司A和公司B。

在进行本章的实验时，可以根据自己的需要来切玢数据。按上述方案切分后，最终两家公司的数据分布表6-1。我们观察到在训练集中，两家公司的用户交集85％左右，而测试集的用户交集大约为68％。

表6-1两家公司的数据分布情况

需要特别注意的是，使用以上切分方的目的是模拟纵向建模。事实上，在现实的纵向联邦建模中，不同粗构的特征数据本身基本没有太多的交集，因此，在业务开发过程中，基本不会涉及数据切分的工作。

6.3 纵向联邦训练

为两方准备好数据之后，就可以利用FATE来构建纵向联邦训练了。在FATE中构建纵向联邦模型的流程与横向联邦很相似，通常会涉及下面四项工作。

• 数据输入：将文件（如CSV、TXT等文本文件〕转换为FATE支持的DTable格式。前面已经阐述DTabIe是FATE底层的数据结构，所有的悍作都是在DTable格式中进行的，其作用类似于RDD在Spark中的作用。
• 样本对齐：这是纵向联邦特有的工作。两个参与方中的本地数据，它们的用户集合不相同，因此，需要先求出它们的用户交集，再利用这部分交集数据进行模型训练。
• 模型训练：求取了交集数据之后，就可以进行纵向联邦模型训练了，具体的算法步骤可以参考相关文献。
• 模型评估：与横向联邦模型评估、集中式模型评估个同的是，纵向联邦模型评估所需要的评估数据也分布在两个参与方中，因此模型评估也需要联合双方才能进行。

与横向联邦训练一样，FATE为纵向联邦提供了丰富的接口，开发人员不需要重新开始编码，只需要通过提供dsl和conf配置文件，就能完成上面的四步操作。为了后面章节的叙述统一，假设安装的FATE单机版本目录为

6.3.1 数据输入

FATE提供了将本地文件转化为FATE支持的DTable格式的工具。先将上一节切分的四个文件上传到$fate_dir/examples/data目录。

• housing_1_train.csv，housing_1_eval.csv：公司A的本地训练数据和本地测试数据；
• housing_2_train.csv，housing_2_eval.csv：公司B的本地训练数据和本地测试数据。

与5.4.1节类似，我们定义上传数据配置文件，将其命名为upload_data.json,其内容如下面的代码块所示。我们需要修改其中的三个字段，即file,table_name和name_space,其余字段使用默认值即可。这三个字段的含义已经在第5章中进行了阐述，这里不再重复讲解。

以上传housing_1_train.csv文件为例，需要将file设置为该文件当前所在的目录，同时自定义对应的DTable表名和命名空间，修改后的文件如下所示。

修改完成后，在命令行中执行下面的命令（upload）,FATE会自动将原始的本地文件housing_1_train.CSV转为DTable表hetero_housing_1_train。

如果执行成功，那么系统将返回下面的信息，读者可以将board_url字段中的网址输入浏览器中查看执行结果。同理，对于其余三个文件，可以按照上面的过程执行自行修改file,table_name和namespace三个字段，这里不再详述。

6.3.2 样本对齐

样本对齐（图6-4），即在不泄露双方数据的前提下，求取出双方用户的交集，从而确定模型训练的训练数据集。纵向联邦的样本对齐也是私有集交集(Private Set Intersection，PSI)技术的一种。

FATE提供了多方安全的样本对齐法，算法基于RSA加密法和散列函数来实现。利用FATE建模时，不需要自己实现样本对齐算法，FATE为模型训练提供了样本对齐的接口。

6.3.3 模型训练

经过前面的工作，我们已经准备好了模型训练所需要的数据，能够看到FATE官方提供的很多模型参考例子，如图6-5所示。

使用纵向线性回归模型来预测房价。进入$fate_dir/examples/dsl/v1/hetero_linear_regression目录，在该目录下，有很多已经定义的d引和conf配置文件，挑选下面两个文件来修改。

• test_hetero_linr_train_job_dsl.json：用来描述任务模块，将任务模块以有向无环图的形式组合在一起。

​ 图6-5 模型参考例子

• test_hetero_linr_train_job_conf.json：用来设置各个组件的参数，比如输入模块的数据表名；篡法模块的学习率、batch大小、迭代次数等。

首先来查看dsI配置文件，在命令行中打开当前的dsl引文件。当前的dsl已经定义了四个组件
模块，对于模型训练来说，这四个组件构成了最基本的纵向朕邦训练要素，在本案例中直接使用即可。

• dataio_0、数据I/O组件，用于将本地数据转换为DTableo
• intersection_0：样本对齐组件，用于求取两方的数
• hetero_linr_0：纵向线性回归模型组件，这里我们使用线性回归，如果使用其他篡法，设置为相应的模块即可。比如，如果想使用纵向的神经网络模型，则设置为hetero_nn_0。
• evaluation_o:模型评估组件。如果没有提供测试数据集，则将自动使用训练数据集作为测试数据集。

接下来查看conf配置文件，该文件包括了所有运行相关的参数信息，在一般情况下使用默认值即可，需要修改的地方包括以下两处。

• roleparameters字段：找到role_parameters字段，该字段下包括guest和host，分别对应于两个参与方，其中guest代表带有标签信息的公司B，host代表没有标签的公司A。guest有三个参数需要修改。首先是train_data下面的name和namespace，代表训练数据的DTable表名和命名空间，将其修改为up-date.json文件中的name和namespace;此外label_name表示的是标签列对应的属性名，比如本案例中的标签列名是"y"。

同样修改host方本地训练数据的DTable表名和命名空间，但host方没有标签信息,因此不需要添加label_name。

• algorithmparameters字段：algorithm_parameters字段是用来设置模型训练的超参数信息的，比如模型优化函数、学习率、迭代次数、batch大小等，读者可以根据实际需要修改。

修改完文件配置后，在命令行中输入submit_job执行模型训练，该命令只需要提供dsl和conf配置文件即可。

如果一切运行正常，可以得到下面的输出信息。可以在浏览器中输入board_url字段下的网址，查看当前的任务运行情况。

6.4 模型评估

与5.4.3节中横向联邦评估一样，在上面的训练实例中，仅提供了模型训练的数据信息。在这种情况下，模型评估使用的是训练数据。如果想使用独立的测试数据来进行模型评估，就需要添加新的数据模块。

首先修改ds汶件。需要在dsl中增加新的测试数据输入模块dataio_1和测试数据样本对齐模块intersection_1，读者也可以对比观察在模型评估中添加的项与前面模型训练时添加的项。

一个简单的测试数据输入模块组件dataio_1和测试数据样本对齐模块intersection_1的设置示例，如下所示。

最终的模型组件的区别如图6-6所示。两者的区别在于，模型的评估数据需要单独的数据输入转换
和样本对齐。

然后，需要修改conf配置文件，添加评估测试数据集对应的DTable表名和命名空间，如下所示。

修改文件配置后，为了和没有测试数据的任务区分，将dsl文件另存为test_hetero_linr_evaluate_job_dsl.json，将conf文件另存为test_hetero_linr_evaluate_job_conf.json，在命令行中执行相同的submit_job命令。

代码

https://download.csdn.net/download/unseven/88217526