达观杯竞赛（六）

​

1，网络搜索：

stacking 就是当用初始训练数据学习出若干个基学习器后，将这几个学习器的预测结果作为新的训练集，来学习一个新的学习器。

在机器学习中，我们说的调参里的参数指的是超参数，即对于模型的整体规划具有重要意义的指标：例如支持向量机中的乘法因子C（用于权衡经验风险和模型复杂度），当支持向量机核函数是为径向基RBF核函数，对应的钟型函数的宽度gamma就是核函数对应的超参数。只有当这两个超参数都确定的条件下，对相应支持向量机模型喂给数据后就能自动将模型参数-特征系数训练出来。

但是如何确定模型中的超参数（比方说是径向基支持向量机中的超参数C和gamma）？

将机器学习模型需要确立的超参数进行列表操作，框定这些超参数的取值范围。当模型只对应于一个超参数时就是一维坐标，当对应于两个超参数时就可以构建二维坐标，设计每个超参数的优化步进值，得到超参数的网格分离。

遍历搜寻网格中的每一对超参数（这个就是网格搜索法，也叫做暴力搜寻），对于每一对超参数进行评估，得到评估分数指标，将各对超参数的评估指标进行比对，得到最优超参数对，选出来用于模型训练。

交叉验证：

对于每一对参数对进行指标评估就是使用交叉验证法。

将数据集分割为训练集和测试集，验证集在交叉验证中没有用。将分割后得训练集进行k个子集的分割，每一次将一个子集取为验证集，其余子集为训练集，共得到k种情况下的训练数据集分割；在当前的超参数条件下，使用k种情况的数据集对于模型进行训练，得到k个模型，使用相应验证集对于这k个模型进行预测结果分析得到k个正确率指标，将这k个正确率指标进行平均作为当前超参数条件下的对应分数。

 

import time

import pickle

from sklearn.feature_selection import
SelectFromModel

from sklearn.linear_model import
LogisticRegression

from sklearn.svm import LinearSVC

from sklearn.svm import SVC

from sklearn.model_selection import
train_test_split

from sklearn.metrics import
confusion_matrix,f1_score

from sklearn.model_selection import
cross_val_score

import lightgbm as lgb

import xgboost as xgb

 

 

features_path =
'./feature/feature_file/data_w_tfidf.pkl'#tfidf特征的路径

fp = open(features_path, 'rb')

x_train, y_train, x_test = pickle.load(fp)

fp.close()

 

X_train, X_test, Y_train, Y_test = train_test_split(x_train, y_train, test_size=0.3, random_state=2019)

 

t_start = time.time()

best_score = 0.0

# for gamma in [0.001,0.01,0.1,1,10,100]:

for C in [0.001,0.01,0.1,1,10,100]:

    log_model
= LogisticRegression(C=C,random_state =2019)

   
scores = cross_val_score(log_model,X_train,Y_train,cv=5) #5折交叉验证

   
score = scores.mean() #取平均数

   
if score > best_score:

       
best_score = score

       
best_parameters = {"C":C}

log_model = LogisticRegression(**best_parameters)

log_model.fit(X_train,Y_train)

test_score =
log_model.score(X_test,Y_test)

print("Best score on validation
set:{:.2f}".format(best_score))

print("Best
parameters:{}".format(best_parameters))

print("Score on testing set:{:.2f}".format(test_score))

t_end = time.time()

print("训练结束，耗时:{}min".format((t_end
- t_start) / 60))