可能不准确 欢迎指出
信息总量、增益、增益率
决策树中 根节点 x x x 有两个分支: x 1 x_1 x1、 x 2 x_2 x2
信息总量
Info(I) = − ( t o t _ y e s t o t l o g 2 t o t _ y e s t o t + t o t _ n o t o t l o g 2 t o t _ n o t o t ) \text{Info(I)} =-(\frac{tot\_yes}{tot}log_{2}\frac{tot\_yes}{tot}+\frac{tot\_no}{tot}log_{2}\frac{tot\_no}{tot}) Info(I)=−(tottot_yeslog2tottot_yes+tottot_nolog2tottot_no)
Info(i,x) = x 1 x Info(x1) + x 2 x Info(x2) \text{Info(i,x)}=\frac{x1}{x}\text{Info(x1)}+\frac{x2}{x}\text{Info(x2)} Info(i,x)=xx1Info(x1)+xx2Info(x2)
Info(x1) = − ( x 1 _ y e s x 1 _ t o t l o g 2 x 1 _ y e s x 1 _ t o t + x 1 _ n o x 1 _ t o t l o g 2 x 1 _ n o x 1 _ t o t ) \text{Info(x1)}=-(\frac{x1\_yes}{x1\_tot}log_{2}\frac{x1\_yes}{x1\_tot}+\frac{x1\_no}{x1\_tot}log_{2}\frac{x1\_no}{x1\_tot}) Info(x1)=−(x1_totx1_yeslog2x1_totx1_yes+x1_totx1_nolog2x1_totx1_no)
Info(x2) = − ( x 2 _ y e s x 2 _ t o t l o g 2 x 2 _ y e s x 2 _ t o t + x 2 _ n o x 2 _ t o t l o g 2 x 2 _ n o x 2 _ t o t ) \text{Info(x2)}=-(\frac{x2\_yes}{x2\_tot}log_{2}\frac{x2\_yes}{x2\_tot}+\frac{x2\_no}{x2\_tot}log_{2}\frac{x2\_no}{x2\_tot}) Info(x2)=−(x2_totx2_yeslog2x2_totx2_yes+x2_totx2_nolog2x2_totx2_no)
SplitsInfo(x) = − ( x 1 x l o g 2 x 1 x + x 2 x l o g 2 x 2 x ) \text{SplitsInfo(x)}=-(\frac{x1}{x}log_{2}\frac{x1}{x}+\frac{x2}{x}log_{2}\frac{x2}{x}) SplitsInfo(x)=−(xx1log2xx1+xx2log2xx2)
增益
Gain(x) = Info(I) − Info(I,x) \text{Gain(x)}=\text{Info(I)}-\text{Info(I,x)} Gain(x)=Info(I)−Info(I,x)
增益率
GainRatie(x) = Gain(x) / SplitsInfo(x) \text{GainRatie(x)}=\text{Gain(x)}/\text{SplitsInfo(x)} GainRatie(x)=Gain(x)/SplitsInfo(x)
关联规则 & 决策树
题干: IF A & B THEN C \text{IF A \& B THEN C} IF A & B THEN C
置信度 & 正确率 | 支持度 & 覆盖率 |
---|---|
P ( A & B & C ) / P ( A & B ) P(A\&B\&C)/P(A\&B) P(A&B&C)/P(A&B) | P ( A & B & C ) / P ( C ) P(A \& B \& C) / P(C) P(A&B&C)/P(C) |
Min-Max \text{Min-Max} Min-Max标准化方法
使用 Min-Max \text{Min-Max} Min-Max标准化方法将 45 45 45岁年龄值,变换为 [ 0 , 1 ] [0,1] [0,1]区间的值,年龄的取值范围为 [ 18 , 100 ] [18,100] [18,100];假设通过神经网络计算得到一个年龄值为 0.6 0.6 0.6,将这个 [ 0 , 1 ] [0,1] [0,1]区间内的输出值还原为正常年龄值。
新 值 = 原 值 − 旧 域 最 小 值 旧 域 最 大 值 − 旧 域 最 小 值 新值=\frac{原值-旧域最小值}{旧域最大值-旧域最小值} 新值=旧域最大值−旧域最小值原值−旧域最小值
反 推 原 值 = 年 龄 值 ∗ 旧 域 值 域 大 小 + 旧 域 最 小 值 反推原值=年龄值*旧域值域大小+旧域最小值 反推原值=年龄值∗旧域值域大小+旧域最小值
神经网络节点的输入值和输出值
给出输入实例 [ 0.8 , 1.0 , 0.4 ] [0.8,1.0,0.4] [0.8,1.0,0.4],求节点 i i i 的输入值和输出值(设为 v 1 , v 2 , v 3 v_1,v_2,v_3 v1,v2,v3,即 v 1 = 0.8 , v 2 = 1.0 , v 3 = 0.4 v_1=0.8,v_2=1.0,v_3=0.4 v1=0.8,v2=1.0,v3=0.4)
节点 i i i 的输入值:
W i i = w 1 i ∗ v 1 + w 2 i ∗ v 2 + w 3 i ∗ v 3 W_{ii}=w_{1i}*v_1+w_{2i}*v_2+w_{3i}*v_3 Wii=w1i∗v1+w2i∗v2+w3i∗v3
节点 i i i 的输出值:
W i o = f ( W i i ) W_{io}=f(W_{ii}) Wio=f(Wii)
f ( x ) = 1 1 + e − x f(x)=\frac{1}{1+e^{-x}} f(x)=1+e−x1
计算混淆矩阵的分类正确率和错误率
C1 C2 C3 C1 55 55 55 3 3 3 2 2 2 C2 2 2 2 57 57 57 1 1 1 C3 4 4 4 54 54 54 2 2 2
Tips: \text{Tips:} Tips: 除了写对角线的 55 , 57 , 2 55,57,2 55,57,2,其他都是错误的
分类正确率: 斜 对 角 数 值 之 和 所 有 数 值 之 和 = 55 + 57 + 2 55 + 3 + 2 + 2 + 57 + 1 + 4 + 54 + 2 = 63.33 % \frac{斜对角数值之和}{所有数值之和}=\frac{55+57+2}{55+3+2+2+57+1+4+54+2}=63.33\% 所有数值之和斜对角数值之和=55+3+2+2+57+1+4+54+255+57+2=63.33%
错误率: 1 − 正 确 率 = 36.67 % 1-正确率=36.67\% 1−正确率=36.67%