Datamining

  数据集

1.一般特性 

 

a 维度 dimensionality  b 稀疏性 sparsity    c 分辨率 resolution

 

2 记录数据   

 

a 事物数据或者购物篮数据 transaction data   b 数据矩阵 data matrix  or pattern matrix

 

3 数据质量   

 

           测试误差 measurement error 收集误差   

           噪音   

           精度、偏倚、准确率   precision、bias  、 accuracy   

           离群点  outlier   

           遗漏值 

           不一致的值   

           重复数据 

 

预处理方法 

1.聚集  数据合并 

2.抽样       有放回、无放回  分层、渐进抽样（progressive sampling）

3.维归约       

 

维灾难       维归约的线性代数技术： 主成分析 principle compenents Analysis PCA   （用于连续属性、新的属性正相交）， 奇异值分解（singular Value decomposition SVD）

 

4. 特征子集选择       嵌入方法 （熵）、 过滤方法（属性子集、评估、判断、last）、 包装方法（黑盒）

 

5.特征创建  -- 原来的属性创建新的属性集       特征提取-具体领域具体算法       映射数据到新的空间       特征构造  （多属性-一个属性  密度）

 

6 离散化和二元化（discretization  binarization）     

           二元化 - 离散属性转化为 0 1     

           离散化：非监督离散化-（等频、等宽、）  监督离散-熵-      

           具有过多值的分类  根据值的相似性，合并一个大组

 

7.变量变化

        简单函数      

        规范化和标准化

相似性和相异性的度量   

1. 定义  相似度 similarity  相异度dissimilarity

 

jaccard洗漱

余弦相似

相关性：皮尔森相关  pearson correlation

 

总结：稠密、连续数据，通常采用距离度量。稀疏数据用词使用0-0匹配的相似性度量 余弦、jaccard