scikit-opt（sko）包的使用

最近由于需要使用优化算法，用到了sko这个包，但是网上给的例子大部分都是官方文档。我尝试利用该包对sklearn中的模型参数进行简单的优化。

import numpy as np
import matplotlib.pyplot as plt
from sko.GA import GA
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split


#首先学习一下官方文档

'''
min f(x1, x2, x3) = x1^2 + x2^2 + x3^2
s.t.
    x1*x2 >= 1
    x1*x2 <= 5
    x2 + x3 = 1
    0 <= x1, x2, x3 <= 5
'''
def obj_func(p):
    print(p)
    x1, x2, x3 = p
    return x1 ** 2 + x2 ** 2 + x3 ** 2


constraint_eq = [
    #等式约束条件：
    lambda x: 1 - x[1] - x[2]
]

constraint_ueq = [
    #不等式约束条件：
    lambda x: 1 - x[0] * x[1],
    lambda x: x[0] * x[1] - 5
    #无需使用不等式表示，直接使用表达式即可，但该表达式需要小于等于0，列如第一个约束条件5>=x1*x2,则改写成x1*x2-5：
]



ga = GA(func=obj_func,n_dim=3,size_pop=50,max_iter=100,lb=[0,0,0],ub=[5,5,5],constraint_eq = constraint_eq,constraint_ueq=constraint_ueq,precision=[1,0.1,0.01])
#func：需要优化的目标，n_dim:优化参数个数，lb、ub参数的上下界,constraint_eq、constraint_ueq：约束条件，
# precision：可以使用整数或浮点数，若使用整数例如1则自变量会启用整数规划模式，浮点数同理，但是优化结果得到的整数是带有小数点的（1.0000），在有些情况下比如random_state他的值必须是个整数，此时需要将结果转成整型
best_x,best_y = ga.run()
print('best_x:', best_x,'\n','best_y:',best_y)


#网上大部分例子都是和官方给出的差不多，我尝试使用该包来优化skearn中的逻辑回归模型，该例子比较简单


iris = load_iris()
xtrain,xtest,ytrain,ytest = train_test_split(iris['data'],iris['target'],test_size=0.2)
def func(p):
    w1, w2 = p
    clf = LogisticRegression(max_iter=int(w1), random_state=int(w2))
    clf.fit(xtrain,ytrain)
    score = clf.score(xtest,ytest)
    return -score #由于这里的GA默认求得最小值，而我们想要score达到最大值，因此需要在score前加负号

ga = GA(func=func, n_dim=2, size_pop=50, max_iter=10, lb=[0, 0],ub=[5, 10],precision=1)
best_x,best_y = ga.run()
print('best_x:', best_x,'\n','best_y:',best_y)