魔镜

数据分析与清洗：

数据可以分为五类：第三方时间数据、UserInfo、教育情况、Web、Social；前期是对数据进行一个基本的分析，大致如下：

关于UserInfo

• 一共从1到24 列
• 其中只有第10,18列为数值型
• 第2,4,7,8,19,20，24 为地理位置，且第24列内容较为齐全，猜测为家庭详细地址；有关地理位置的使用情况：
  1.1 国家对城市刚刚颁布了城市等级表，有六个等级，代表着发达程度，
  1.2 城市有gdp,代表着贫富程度
  1.3 按地理位置的经纬度来划分
• 9为通讯方式，常识上没有关系
• 18 为年龄，重要属性
• 22 是婚否，重要属性，里面包含未婚、已婚、离婚、再婚、初婚、不详、D ;
• 23是学历，重要属性，包含类别更多，且和后面的教育情况有一定关系；

1.3 关于教育情况

• 一共8列
• 前4列紧密相关，后4列紧密相关，各列每行都对应，前4列中第一列为1，第三列为毕业，第二、四不清楚含义；后四列第一列为1，第三列为不详，第二四列不清楚含义；

关于web情况

• 一共58列
• 只有19,20,21，为类别型；首先对这三列补值‘D’,然后使用哑向量处理
  -10全部行为0 ，该列没有意义，删除

关于social

• 一共16列

1.6 关于日期

• 暂时没有发现与target 有任何关系，舍弃；

二、 第一轮处理

现在不确定各个特征的重要程度，没有随意删除；现在的处理包括：

• 第三方时间数据依据周期性补值；在此基础上对于各周期均为空的按列均值进行处理；目前保存了两个版本；接下来可以考虑归一化，删除，
• UserInfo 这一块内容比较重要，有待深入分析；目前就将婚姻情况的汉字进行了处理；第一、三列进行了众数补值；地理位置列舍弃；通讯信息列舍弃；21列与22完全相关，舍弃；11,12,13列空值过多，舍弃；毕业情况，舍弃；23学历，24户籍，不确定如何处理，暂时舍弃；
• 教育情况，分别保留第1列和第5列；
• web情况，对三类类别型数据进行分类处理；其他列补空值为-1；
• social 情况，暂未处理；

目前主要是处理了包含文字的列，以及空值； 接下来再继续深入处理；