机器学习--基础算法--评价分类结果

1 准确度的陷阱和混淆矩阵

分类准确度的问题：
一个癌症预测系统，输入体检信息，可以判断是否有癌症。预测准确度: 99.9%。如果癌症产生的概率只有0.1%，我们的系统预测所有人都是健康，即可达到99.9%的准确率。
对于极度偏斜(Skewed Data)的数据，只使用分类准确度是远远不够的。使用混淆矩阵做进一步的分析。

2 精准率和召回率

3 精准率、召回率和F1 Score的衡量效果

4 精准率、召回率的平衡

精准率和召回率是相互制约的。一方增大，另一方就会减小。

5 实现混淆矩阵，精准率和召回率

import numpy as np
from sklearn import datasets

digits = datasets.load_digits()
x = digits.data
y = digits.target.copy()
# 制作极度偏斜的数据
y[digits.target == 9] = 1
y[digits.target != 9] = 0

from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state = 666)

from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression()
log_reg.fit(x_train, y_train)
log_reg.score(x_test, y_test)
>>>0.9755555555555555

y_log_predict = log_reg.predict(x_test)

def TN(y_true, y_predict):
    assert len(y_true) == len(y_predict)
    return np.sum((y_true == 0) & (y_predict == 0))
TN(y_test, y_log_predict)
>>>403

def FP(y_true, y_predict):
    assert len(y_true) == len(y_predict)
    return np.sum((y_true == 0) & (y_predict == 1))
FP(y_test, y_log_predict)
>>>2

def FN(y_true, y_predict):
    assert len(y_true) == len(y_predict)
    return np.sum((y_true == 1) & (y_predict == 0))
FN(y_test, y_log_predict)
>>>9

def TP(y_true, y_predict):
    assert len(y_true) == len(y_predict)
    return np