[学习笔记]数据挖掘-week2

离群点

$$distanc{e}_k(O)$$

选取 $k$ 个离 $O$ 点最近的点，以最远的一个点为半径画圆，表示 $O$点的距离。

距离相同的点算作一个点，即有可能最终得到的点多于$k$ 。

则两点之间的距离定义如下：

d i s t a n c e k ( A , B ) = m a x { d i s t a n c e k ( B ) , d ( A , B ) } distance_k(A,B)=max\{distance_k(B), d(A,B)\} distancek​(A,B)=max{distancek​(B),d(A,B)}

通常为$d(A,B)$，即欧式距离。对于每个点 $A$ 定义如下度量。

$$lrd(A)=1/\left(\frac{{\sum }_{B\in N_k(A)}distanc{e}_k(A,B)}{\mid N_k(A)\mid }\right)$$

分母表示有多少个近邻，一般为$k$，公式后半段表示点$A$到其近邻点到平均距离。$lrd$越大，表示与其近邻越近。则判断离群点到依据如下：

$$LO{F}_k(A)=\frac{{\sum }_{B\in N_k(A)}\frac{lrd(B)}{lrd(A)}}{\mid N_k(A)\mid }$$

最终得到的$LOF$越大，是离群点的可能性越大。

不平衡数据集

下列公式用于度量处理该类数据时，分类器的好坏

$$\begin{gathered} G-mean={\left(Ac{c}^{+}\times Ac{c}^{-}\right)}^{1/2} \\ Ac{c}^{+}=\frac{TP}{TP+FN};Ac{c}^{-}=\frac{TN}{TN+FP} \end{gathered}$$

该公式考虑分类器对两种类型数据各自的准确率。

$TP+FN$表示的是某类数据的实际个数，其分子表示正确预测该类数据的个数。另一个分式表示相同概念。

$$\begin{gathered} F-measure=\frac{2\times Precision\times Recall}{Precision+Recall} \\ Precision=\frac{TP}{TP+FP};Recall=\frac{TP}{TP+FN} \end{gathered}$$

精确率表示预测值多于实际值，召回率表示预测值少于实际值。

标准化

Min-max normalization

$$v^{\prime }=\frac{v-min}{max-min}(new\_max-new\_min)+new\_min$$

其中最大最小值为原始数据中的值，新的最大最小值为映射空间上的值，通常为1，0。

用于有明确上下界的数据。无界数据的标准化如下。

Z-score normalization
$$\begin{gathered} v^{\prime }=\frac{v-\mu }{\sigma } \\ \mu :mean,\sigma :standarddeviation \end{gathered}$$

熵

数值越大，表示系统不确定性越高。

定义：
$$H(X)=-\sum _{i=1}^{n}p(x_i){\log }_{b}p(x_i)$$

应用实例，来源学堂在线。
已知原始数据男女比例 1:1 ，抽烟与不抽烟为 0.4 与 0.6 。现新知到数据抽烟中男女为 0.95 与 0.05 。不抽烟中男女为 0.2 与 0.8 。

设X:{a="Non-Smoker;b=“smoker”}

$$\begin{gathered} H(S)=-0.5\cdot {\log }_{2}0.5-0.5\cdot {\log }_{2}0.5=1.0 \\ H(S|X=a)=-0.8\cdot {\log }_{2}0.8-0.2\cdot {\log }_{2}0.2=0.7219 \\ H(S|X=b)=-0.05\cdot {\log }_{2}0.05-0.95\cdot {\log }_{2}0.95=0.2864 \\ H(S|X)=0.6\cdot H(S|X=a)+0.4\cdot H(S|X=b)=0.5477 \\ Gain(S,X)=H(S)-H(S|X)=0.4523 \end{gathered}$$

这里$Gain(S,X)$为 information Gain 。表示新增的数据属性的价值，越大越好。