机器学习入门-混淆矩阵-准确度-召回率-F1score 1.itertools.product 2. confusion_matrix(test_y, pred_y)...

1. itertools.product  进行数据的多种组合

intertools.product(range(0, 1), range(0, 1))  组合的情况[0, 0], [0, 1], [1, 0], [1, 1]

2. confusion_matrix(test_y, pred_y)  # 构造混淆矩阵

混淆矩阵是TP(正的预测成正的), FP(正的预测成负的), TN(负的预测成负的), FN(负的预测成正的)

从混淆矩阵中,我们可以很清楚的看出这个信息,这是一个信用欺诈的案例, 134表示的是将欺诈的预测出来的数值, 13表示的是将欺诈的预测成正常的, 131表示的是将正常的预测成正常的,18表示将正常的预测成欺诈的

精度: (134 + 131) / (134+131+13+18)

召回率: (134) / (134 + 13)

F1得分 : (1 / (精度 + 召回率))

代码:使用的是一个下采样的欺诈数据的代码,使用confusion_matrix 获得混合矩阵,然后使用plt.imshow() 进行画图操作

best_c = printing_KFold_score(under_train_x, under_train_y)

import itertools
# 画出混淆矩阵, 导入confusion_matrix
def plot_matrix(conf, classes,
                title='confusion matrix', cmap=plt.cm.Blues):
    # 展示直方图
    plt.imshow(conf, cmap=cmap)
    # 图片标题
    plt.title(title)
    # 图片颜色条
    plt.colorbar()
    # 设置x轴和y轴位置
    x_index = np.array(classes)
    # 第一个参数是位置,第二个参数是标签名
    plt.xticks(x_index, classes, rotation=0)
    plt.yticks(x_index, classes)
    conf_mean = conf.max() / 2
    # itertools.product
    # [0, 1] & [0, 1]
    # [0, 0], [0, 1], [1, 0], [1, 1]
    # 将数字添加到混合矩阵中
    for i, j in itertools.product(range(conf.shape[0]), range(conf.shape[1])):
        plt.text(j, i, conf[i, j], horizontalalignment='center',
                 color='white'if conf[i, j] > conf_mean else 'black')
    # 画出的图更加的紧凑
    plt.tight_layout()

from sklearn.metrics import confusion_matrix
# 建立逻辑回归模型
lr = LogisticRegression(C=best_c, penalty='l1')
# 模型训练
lr.fit(under_train_x, under_train_y)
# 模型预测
pred_y = lr.predict(under_text_x)
# 获得混合矩阵
conf = confusion_matrix(under_test_y, pred_y)
# 画图
plot_matrix(conf, classes=[0, 1])
# accrurracy
# 精度
accurracy = (conf[0, 0] + conf[1, 1]) / (conf[0, 0] + conf[0, 1] + conf[1, 0] + conf[1, 1])
# 召回率
recall = conf[1, 1] / (conf[1, 0] + conf[1, 1])
# F1得分
F1_score =  1 / (accurracy + recall)
plt.show()

 

转载于:https://www.cnblogs.com/my-love-is-python/p/10271093.html

import numpy as np import pandas as pd from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score from sklearn.metrics import confusion_matrix import matplotlib.pyplot as plt from termcolor import colored as cl import itertools from sklearn.preprocessing import StandardScaler from sklearn.tree import DecisionTreeClassifier from sklearn.neighbors import KNeighborsClassifier from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC from sklearn.ensemble import RandomForestClassifier from xgboost import XGBClassifier from sklearn.neural_network import MLPClassifier from sklearn.ensemble import VotingClassifier # 定义模型评估函数 def evaluate_model(y_true, y_pred): accuracy = accuracy_score(y_true, y_pred) precision = precision_score(y_true, y_pred, pos_label='Good') recall = recall_score(y_true, y_pred, pos_label='Good') f1 = f1_score(y_true, y_pred, pos_label='Good') print("准确率:", accuracy) print("精确率:", precision) print("召回率:", recall) print("F1 分数:", f1) # 读取数据集 data = pd.read_csv('F:\数据\大学\专业课\模式识别\大作业\数据集1\data clean Terklasifikasi baru 22 juli 2015 all.csv', skiprows=16, header=None) # 检查数据集 print(data.head()) # 划分特征向量和标签 X = data.iloc[:, :-1] y = data.iloc[:, -1] # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 6. XGBoost xgb = XGBClassifier(max_depth=4) y_test = np.array(y_test, dtype=int) xgb.fit(X_train, y_train) xgb_pred = xgb.predict(X_test) print("\nXGBoost评估结果:") evaluate_model(y_test, xgb_pred)
06-03
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值