数据挖掘-基础知识-笔记汇总2：数据预处理-类型转换与采样

课程笔记第一篇

本课程笔记的课程来源于清华大学深圳研究生院-袁博老师的《数据挖掘：理论与算法》。视频在学堂在线或者b站都有。

第二章第三节-类型转换与采样：

数据一般分为：连续型（continuous）、离散型（discrete）、序数型（oordinal）、标称型（nominal）、无结构数据（例字符串）型。

各种类型的数据举例如下：

注意：1.序数型是有顺序的，如评等级：A、B、C、D。

           2.标称型不能绝对的使用0 1 2这样给每个属性编码，原因是如果这样编码，就会无意识地强加给了每个属性之间的关系，比如R G B三种颜色如果使用0 1 2编码，便会默认产生R与B的空间上的距离比R与G空间上的距离要远，但是这是没有根据的，所以我们给属性编码的时候要注意。

采样 sampling

在大数据中使用采样技术，数据太多，处理不过来，就要使用采样。

采样中有一个方法叫聚集aggregation：比如days——>months，省——>区域，来使数据更加平稳的，少一些变化。

对于不平衡的数据，可以调整类的比例。

不平衡数据集 imbalance dataset

整体准确率的概念不一定适用与此。所以使用如下数值来判断：

G-mean 值在0-1之间，两边的准确值都要看，有一边为0则整体为0；需要这个值高，必须是在两类的准确值都要高，即对的预测为对的，错的也要预测为错的。

acc：准确率（正确率）=所有预测正确的样本/总的样本  （TP+TN）/总

acc+和acc-如图，acc+=recall

召回率recall是表示的是所有实际正例中被分对的比例。

精确值precision是表示被预测为正例的示例中实际为正例的比例。

过度采样 - 克隆（不是简单复制，是找它的近邻点，然后在它们之间的区域中随机生成一个点，类似插值法。）

边缘采样 - 边缘点是最重要的，使用方法把边缘点找出来，比如计算法向量的方法。来取得只用5%的点就能和用100%的点的效果一样。