PPML入门/基于SPU机器学习建模实践

1. PPML in SPU
SPU是什么
带隐私保护语义的IR编译器
支持多并发、多协议（semi2k、cheetah、aby3）
部署模式透明
编译器
复用AI框架的部分编译优化
MPC语义下的独占优化和翻译
运行时
多并发（指令，数据）
多协议支持（semi2k ，cheetah，aby3）
部署模式透明
前端
编程语言为Python
原生支持主流AI前端
对机器学习专家，额外学习成本低
复用AI框架前端能力，如自动求导
2. 浮点数和定点数
浮点数表示
符号bit（S）：0表示正数，1表示负数
biased指数（E）：8bit，以2为底
尾数（f）：23bit，决定了精度
浮点数参考：What Every Computer Scientist Should Know About Floating-Point Arithmetic
规格数：1 <= E <= 254
非规格数：E = 0
Special Values：每个给定的E有2^23个数，不同E间距不同
定点数表示
符号bit：0表示正数，1表示负数
取值范围：(-2^L-2-F, 2^L-2-F)
计算简单（整数运算，低次多项式）
计算精度较低，乘法依赖truncation，数学函数通常使用近似解
定点数encoding参考：https://eprint.iacr.org/2019/599.pdf
3. 明文算法迁移流程
步骤
将算法用JAX的API重新实现
测试密态下的数值精度
模拟在定点数上运行的所有操作
提供真实的数值计算精度环境，运行速度更快，快速实验
测试密态下的实际性能
在真实的MPC协议上通过多进程/Docker进行仿真
提供算法有效的性能结果
SML（Standard ML）是一种函数式编程语言，也是一种静态类型的编程语言。它具有强大的类型推导能力和模式匹配功能，适合用于编写高性能和可靠的程序。在机器学习中，SML可以用于实现各种机器学习算法，包括数据预处理、特征选择、模型训练和评估等任务。本文将简要介绍如何基于SPU（Standard ML of New Jersey）迁移机器学习算法进行实践学习。

安装SPU：首先，你需要在你的计算机上安装SPU编译器。你可以在SPU的官方网站上找到相关的安装包和安装指南。根据你的操作系统选择相应的安装包，并按照指南进行安装。

学习SML基本语法：在开始使用SPU实践机器学习算法之前，你需要掌握SML的基本语法和编程范式。SML具有函数式编程的特点，因此你需要了解函数的定义和调用、模式匹配、列表操作等基本概念。

导入机器学习库：SPU提供了一些机器学习相关的库，你可以通过导入这些库来使用其中的函数和数据结构。比如，你可以导入SML的ml库来使用其中的线性回归函数和数据集。

数据预处理：在开始训练模型之前，你通常需要对数据进行一些预处理操作，比如去除噪声、缺失值处理、特征归一化等。你可以使用SML的库函数来实现这些操作。

特征选择：在训练模型之前，你可能还需要对数据进行特征选择操作，以减少特征的数量并提高模型的性能。你可以使用SML的库函数来实现特征选择算法，比如方差分析、主成分分析等。

模型训练和评估：一旦你完成了数据预处理和特征选择，就可以开始训练模型了。你可以使用SML的库函数来实现各种机器学习算法，比如线性回归、逻辑回归、决策树等。训练完成后，你可以使用SML的库函数来评估模型的性能，比如计算准确率、精确率和召回率等。

模型优化：如果模型性能不理想，你可以使用SML的库函数来进行模型优化，比如使用交叉验证、调整超参数等。你还可以使用SML的库函数来进行特征选择和模型集成等操作，以提高模型的性能。

总结来说，基于SPU迁移机器学习算法的实践学习过程包括学习SML基本语法、导入机器学习库、数据预处理、特征选择、模型训练和评估、模型优化等步骤。通过实践学习，你将能够掌握SML编程和机器学习算法，并能够用SML实现各种机器学习任务。