在使用Spark的ML/MLlib过程中,想要将算法生成的模型进行保存,方便下次调用,模型的save方法可以将模型以文件的形式保存到磁盘中,但是如果代码运行在其他环境中想要调用模型的话,需要将模型文件copy到其他环境中并配置好模型文件的路径,这样就很麻烦。所以将模型保存至数据库中,其他环境调用起来就很方便。
解决思路
写入:将模型转换为二进制流存入数据库
读取:将数据库中读取的数据进行反序列化,强制转换为对应的模型类型
具体实现
表:
CREATE TABLE `tb_sms_model` (
`id` varchar(255) NOT NULL,
`model` blob COMMENT '模型',
`create_time` datetime DEFAULT NULL COMMENT '创建时间',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
模型对象(.java):
public class SensitiveSMSModel implements Serializable {
private String id;// 主键id
private byte[] model; // 模型
private String createTime;// 创建时间
public String getId() {
return id;
}
public void setId(String id) {
this.id = id;