数据认识
属性:
按照属性的类型分:
1. 定性的(分类的)
标称(nominal)\序数(ordinal)
2. 定量的(数值的)
区间(interval)、比率(ratio)
按照属性值的个数分:
- 离散的(discrete)
- 连续的(continuous)
数据质量:
因为存在测量误差及数据收集错误(如遗漏数据对象或遗漏数据属性,或不当地包含了其他数据对象等错误),会出现噪声或伪像,
所以需要进行数据清理(data cleanning)
##### 数据质量度量
1. 精度 (同一个量的)重复测量值之间的接近程度,故常用标准差来度量
2. bias 测量值与真实值间的系统误差
数据预处理:
1. aggregation
2. 抽样
需要样本容量 自适应抽样 渐进抽样
3. 维归约(多属性降低为较少属性)
主要技术:PCA(主成分分析) 、SVD(奇异值分解)
特征子集选择(降低维度的另一种方法,采用选取特征的一个子集)
特征子集选择、特征加权
特征创建:
特征提取(由原始数据创建新的特征集称作特征提取)
时间序列类型数据采用傅里叶变换 特征构造
离散化和二元化
变量变换
例如:相似度到[0, 1]区间的变换公式:
s’ = (s-min_s)/(max_s-min_s)Note: max_s和min_s分别是相似度的最大值和最小值
数据对象的相异度:
1. 距离:
参考链接:http://blog.csdn.net/tianlan_sharon/article/details/50904641