机器学习-分类模型-交叉验证（5）

交叉验证理解：

数据集中可能存在特殊样本，单一的划分会影响人们对模型输出结果的判断（因为特殊样本可能全部划分到了训练集或者测试集）
所以要使用交叉验证。比如将样本集划分成5份，每一份都可以用做测试集，剩余4份为训练集。训练5次，
对其评估结果平均化，得到的才是该模型的较准确的评价。

交叉验证指标：

精确度（accuracy）：分类正确的样本数 / 总样本数
查准率（precision_weighted）：针对每一个类别，预测正确的样本数比上预测出来的样本数
                    举例：100个样本，50只狗和50只猫。预测出来有45只狗，但是其中有40只是预测对的，另外5只是猫
                        所以对于狗的查准率是40 / 45。  若预测出来10只狗，这10只都是正确的，对于狗的查准率是100%
召回率（recall_weighted）：针对每一个类别，预测正确的样本数比上实际存在的样本数
                  举例：100个样本，50只狗和50只猫。预测出来有45只狗，但是其中有40只是预测对的
                      所以对于狗的召回率是40 / 50  若预测出来90只狗，这50只是正确的，对于狗的召回率是100%
f1得分（f1_weighted）：2*查准率*召回率 / （查准率 + 召回率）

注：查准率、召回率、f1得分是针对每一个类别的评估

代码实现：

import numpy as np
import pandas as pd
import sklearn.naive_bayes as nb
import sklearn.model_selection as ms

data = pd.read_csv('C:/Users/81936/Desktop/balance.txt', delimiter=",")

data = np.array(data)
data1 = data[:, :-1]
data2 = data[:, -1]
data3 = []
for i in data2:
    if i==' R':
        data3.append(1)
    if i==' B':
        data3.append(2)
    if i==' L':
        data3.append(3)
data3 = np.array(data3)
data = np.column_stack((data1, data3))
x = np.array(data[:, :-1], dtype=float)
y = np.array(data[:, -1], dtype=float)

# 利用sklearn划分训练集和测试集
# ms.train_test_split() x和y是输入和输出，test_size用于确定划分测试集的比例，random_state为随机种子（用于确保每次划分的都一样）
train_x, test_x, train_y, test_y = ms.train_test_split(x, y, test_size=0.25, random_state=1

# 构建高斯朴素贝叶斯模型
model = nb.GaussianNB()

# 交叉验证
# cv=5验证的次数，scoring='accuracy'要输出的模型评估值 （precision_weighted、recall_weighted、f1_weighted）                                                                                

# 输出的是精确度评估值
ac = ms.cross_val_score(model, train_x, train_y, cv=5, scoring='accuracy')
print(ac)
print(ac.mean())

# 训练模型
model.fit(train_x, train_y)