标称属性的概念分层

tag:C++分离字符串;vector数组去重

问题的提出

数据挖掘>>数据预处理>>数据变换>>数据离散化>>标签属性的概念分层

• 数据离散化:将连续属性的值域划分区间,便于数据挖掘,影响顶层决策
  以数值数据年龄为例,
  年龄是个连续属性,可以取0~100及以上的整数,单独研究特定年龄的样本数据并没有太大意义
  但年龄可以用区间标签(0~18,19~30,30~50,>50)或者概念标签(童年,青年,中年,老年)替换元素值,这样的研究成果才有指导价值
• 标称属性的概念分层:便于将标称数据变换到多个粒度层
  以地址这个标称属性集为例,
  地址这个集合包含{区,市,省,国家}4个标称属性
  但没有相关数据语义的知识,未说明其偏序,如何找出任意的标称属性的分层序呢?这就是我今天要解决的问题.

解决办法

注意到一个启发规则:较高概念分层的属性,通常包含较少的不同值
以,国家这一属性包含的不同值的个数,
和省或者州包含的不同取值数比较,前者个数显然较少

问题抽象化

# #号开始的行是注释
# 非注释行的第一行表示属性的名称，用空格或者tab隔开
# 从第二行开始为数据
#
区   市   省   国家
上城区 杭州市 浙江省 中国
下城区 杭州市 浙江省 中国
江干区 杭州市 浙江省 中国
临安市 杭州市 浙江省 中国
海曙区 宁波市 浙江省 中国
江北区 宁波市 浙江省 中国
江宁区 南京市 江苏省 中国
秦淮区 南京市 江苏省 中国
#
# 对本文件的处理后输出：
# 概念分层从低到高应为：区 < 市 < 省 < 国家

编码思路

读取concept_input.txt中的内容
根据每个属性(字段)统计对应的不同值(种类)个数
从小到大排序
输出对应的属性字段到屏幕和concept_output.txt文件中

代码实现(C++)

#include<iostream>
#include<fstream>
#include<string>
#include <vector>
#include<algorithm>

//分割字符串
std::