skmultiflow.evaluation.EvaluatePrequential

skmultiflow.evaluation.EvaluatePrequential

class(n_wait = 200,max_samples = 100000,batch_size =1,pretrain_size = 200,max_time = inf,metrics = None, output_file =None, show_plot=False,restart_stream =True,data_points_for_classification=False)

前置评估法或交叉测试训练法

参数	解释
metrics	列表，可选的（默认值：[‘accuracy’,‘kappa’]） 在评估时要计算的指标。也定义了在图中或者需要输出到文件的指标。可选的指标如下

要了解指标含义，首先引入一些概念。

样本

我们需要在一堆西瓜（好瓜和坏瓜堆积在一起）里边找出好瓜。

正样本：即属于某一类（一般是要求的那一类）的样本。（好瓜）
负样本：不属于这一类的样本。（坏瓜）

识别结果

矩阵	实际正例	实际负例
识别正例	True Positive	False Positive
识别负例	Fase Negative	True Negative

TP：被识别为正类，实际也是正样本（正确识别）
挑出好瓜，实际也是好瓜
FP： 被识别为正类，实际是负样本（一类错误识别）
挑出好瓜，实际是坏瓜
FN：未被识别为正类，实际是正样本（二类错误识别）
实际是好瓜，被当成坏瓜没被挑出来
TN：未被识别为正类，实际也是负样本（正确识别）
实际就是坏瓜，正好也没挑出来。

注

PN 可以被理解为这个瓜被识别成是好的还是坏的，好的就是P，坏的就是N。
TF 可以被理解为这个瓜被人为判定时的准确性，不管他是不是好瓜还是坏瓜，判定准确了就是T，判定错了就是F。

混淆矩阵

上述TP\FP的矩阵为二分类混淆矩阵。
一般的

confusion matrix		预测值
		类别1	类别2	类别3
真实值	类别1	a	b	c
	类别2	d	e	f
	类别3	g	h	i

一致性：模型预测结果和实际分类结果是否一致

P_o为预测的精度，也可以理解为预测的一致性
$$P_o=\frac{a+e+i}{a+b+c+d+e+f+g+h+i}$$
P_e表示偶然一致性
假设每类的真实样本个数是a1,a2,……,ac，而预测出来的每类样本个数分别是b1,b2,……,bc
总样本个数为n，则有$$p_e=\frac{a1\times b1+a2\times b2+\cdots +ac\times bc}{n\times n}$$

准确率

分类正确的样本数与样本总数之比。即 $$accruacy=\frac{TP+TN}{TP+FP+FN+TN}$$

精确率

以预测结果为判断依据。被预测识别为正类的实例中，实际正样本占预测样本的比例。即$$precision=\frac{TP}{TP+FP}$$

召回率

以实际样本为判断依据，实际为正例的样本中，被判断为正例的正样本（正确判定为正样本）占总实际正样本的比例。
即$$recall=\frac{TP}{TP+FN}$$

F1值

比如总共有10个瓜，里边有5个好瓜，我们只识别出来里边有一个好瓜，正好还对了，那么精确率是1， 但是召回率是1/5。或者说，我们这10个瓜都识别成好瓜了，那么召回率为1，但是精确率只有1/2。
所以说单独用精确率和召回率很难评估模型的好坏。 F1就中和了这两个指标。
$$F1=\frac{2PR}{P+R}$$ P代表精确率，R代表召回率

好了，回归正传。 skmultiflow.evaluation.EvaluatePrequential的评估指标 包含以下几个部分。
在分类时

分类	解释
accuracy	准确率：分类正确的样本数与样本总数之比。即 $$accruacy=\frac{TP+TN}{TP+FP+FN+TN}$$
kappa	kappa系数，度量一致性的指标，值在[-1,1]。$$K=\frac{P_o-P_e}{1-P_e}$$
precision	精确率：被分为正类的实例中实际正样本的比例。即$$precision=\frac{TP}{TP+FP}$$
recall	召回率：实际为正例的样本中，被判断为正例的正样本（正确判定为正样本）占总实际正样本的比例$$recall=\frac{TP}{TP+FN}$$
f1	F1值， $$F1=\frac{2\times Precision\times Recall}{Precision+Recall}$$

kappa值含义：

值	含义
-1	完全不一致
0	偶然一致
0.0~0.2	极低的一致
0.21~0.4	一般的一致
0.41~0.60	中等的一致
0.61~0.80	高度的一致
0.81~1	几乎完全一致