关闭

数据清洗步骤

171人阅读 评论(0) 收藏 举报
分类:

数据清洗可以通过5步做好:

1.把所有非数值变量转为数值变量含有人类知识的变量根据先验知识转化(比如日期转化为天数、年、月、日等,地理转化为经纬度、城市等级等,定序变量保留序数),不含有先验知识的非数值变量通过one-hot encoding一律转成0-1哑变量,此时所有变量都是数值型的了。

2.把一系列相似变量可以用统计量概括或补充(比如不同时期第三方信息、几个城市等用均值方差之类的信息)。

3.删掉那些空值与同一值占比过多的稀疏变量。

4.删掉共线变量 。

5.把空值填充好(中位数或平均数等),然后标准化。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:366次
    • 积分:17
    • 等级:
    • 排名:千里之外
    • 原创:1篇
    • 转载:3篇
    • 译文:0篇
    • 评论:0条
    文章分类
    文章存档