1、定义
性能度量是衡量泛华模型能力的评价标准,反映了任务需求。
回归任务常用均方误差
什么样的模型是“好”的,不仅取决于算法和数据,还取决与任务需求
均方误差
E
(
F
;
D
)
=
1
/
m
∑
1
m
(
f
(
x
i
)
−
y
i
)
2
E(F;D)=1/m\sum_{1}^{m}(f(xi)-yi)^2
E(F;D)=1/m1∑m(f(xi)−yi)2
这里前面加上个系数没有影响。一般都加上1/2,这样在求导后,2可以直接约去。
错误率:
E
(
F
;
D
)
=
1
/
m
∑
1
m
(
f
(
x
i
)
≠
y
i
)
E(F;D)=1/m\sum_{1}^{m}(f(xi)\neq yi)
E(F;D)=1/m1∑m(f(xi)=yi)
精度:
a
c
c
(
f
;
D
)
=
1
/
m
∑
1
m
(
f
(
x
i
)
=
y
i
)
=
1
−
E
(
f
;
D
)
acc(f;D)=1/m\sum_{1}^{m}(f(xi) = yi)=1-E(f;D)
acc(f;D)=1/m1∑m(f(xi)=yi)=1−E(f;D)
查准率和查全率
看到这四个后,可以定义出查准率:
查准率:
给你一堆西瓜,你查出来10个有好的,你给出的10个中,有几个是好的,这就是查准率。你查准了多少
P
=
T
P
T
P
+
F
P
P=\frac{TP}{TP+FP}
P=TP+FPTP
查全率:
一堆西瓜中有20个是好的,但是你只给出了10个。你的查全率就是50%。
R
=
T
P
T
P
+
F
N
R=\frac{TP}{TP+FN}
R=TP+FNTP
F1度量:
F
1
=
2
∗
P
∗
R
P
+
R
=
2
∗
T
P
T
o
t
a
l
n
u
m
b
e
r
o
f
s
a
m
p
l
e
s
+
T
P
−
T
N
F1=\frac{2*P*R}{P+R}=\frac{2*TP}{Total number of samples+TP-TN}
F1=P+R2∗P∗R=Totalnumberofsamples+TP−TN2∗TP
即:
1
F
1
=
1
2
∗
(
1
P
+
1
R
)
\frac{1}{F1}=\frac{1}{2}*(\frac{1}{P}+\frac{1}{R})
F11=21∗(P1+R1)
这样可以使得较小的值不被忽视掉。
查准率和查全率不同偏好: