目录
结果部署是机器学习项目中最后一步,也是最重要的步骤之一。选定算法后,对算法训练生成模型,并部署到生产环境上,以便利用机器学习解决实际问题。
找到一个能够生成高精确度模型的算法不是机器学习最后的步骤,在实际的项目中,需要将生成的模型序列化,并将其发布到生产环境。当有新数据出现时,需要反序列化已保存的模型,然后用其预测新的数据。
1.通过pickle序列化和反序列化
pickle是标准的Python序列化方法,可以通过它来序列化机器学习算法生成的模型,并将其保存到文件中。
下面给出一个根据Pima Indians数据集训练逻辑回归算法生成的一个模型,并将其序列化到文件,然后反序列化这个模型的例子。在机器学习项目中,当模型训练需要花费大量的时间时,模型序列化是尤其重要的。
from pandas import read_csv
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from pickle import dump
from pickle import load
#导入数据
filename = 'pima_data.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
#将数据分为输入数据和输出结果
array = data.values
X = array[:,0:8]
Y = array[:,8]
test_size = 0.33
seed = 4
X_train,X_test,Y_traing,Y_test = train_test_split(X,Y,test_size=test_size,random_state=seed)
#训练模型
model = LogisticRegression(max_iter=3000)
model.fit(X_train,Y_traing)
#保存模型
model_file = 'finalized_model.sav'
with open(model_file,'wb') as model_f:
#模型序列化
dump(model,model_f)
#加载模型
with open(model_file, 'rb') as model_f:
#模型反序列化
load_model = load(model_f)
result = load_model.score(X_test, Y_test)
print("算法评估结果: %.3f%%" % (result * 100))
运行结果:
算法评估结果: 80.315%
2.通过joblib序列化和反序列化
joblib是SciPy生态环境的一部分,提供了通用的工具来序列化和反序列化Python的对象。通过joblib序列化对象时会采用NumPy的格式保存数据,这对某些保存数据到模型中的算法非常有效,入K近邻算法。
from pandas import read_csv
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
import joblib
#导入数据
filename = 'pima_data.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
#将数据分为输入数据和输出结果
array = data.values
X = array[:,0:8]
Y = array[:,8]
test_size = 0.33
seed = 4
X_train,X_test,Y_traing,Y_test = train_test_split(X,Y,test_size=test_size,random_state=seed)
#训练模型
model = LogisticRegression(max_iter=3000)
model.fit(X_train,Y_traing)
#保存模型
model_file = 'finalized_model_jpblib.sav'
with open(model_file, 'wb') as model_f:
joblib.dump(model,model_f)
with open(model_file, 'rb') as model_f:
loaded_model = joblib.load(model_f)
result = loaded_model.score(X_test, Y_test)
print("算法评估结果: %.3f%%" % (result * 100))
算法评估结果: 80.315%
3.生成模型的技巧
在生成机器学习模型时,需要考虑一下问题:
- Python版本:要记录下Python的版本,大部分情况下,在序列化模型和反序列化模型时,需要使用相同的Python版本。
- 类库版本:同样需要记录所有的主要类库版本,因为在序列化模型和反向序列化模型时需要使用相同版本的类库,不仅需要SciPy和scikit-learn版本一致,其他的类库版本也需要一致。
总结
至此,整个机器学习的流程就介绍结束了。接下来将会完成几个机器学习的工程项目。