数据清洗的基本思路分享(都是个人见解,欢迎补充)

首先抛出一个问题:

爬取到数据到数据库之后，怎么进行数据清洗和进行去重上传的

=============================解答一下=============================

数据清洗:

数据清洗概念就是去从,检查数据一致性，处理无效值和缺失值等)删除重复信息、纠正存在的错误.

可以利用pandas模块(最常用的清洗模块)和正则或者numpy模块(机器学习),简单的去换行和去除空格可以直接调用方法====>replace,去掉换行符(\n),strip(),去掉头尾空行

数据去重:

（1）在scrapy中已经能做到url链接去重

（2）布隆过滤器(BloomFilter,原理和哈希基本一样)

（3）存数据库的时候先查询(如果不存)在再插入
（4）在数据中增加一个唯一索引字段，这个字段是某个字段做哈希，这样可以达到减少内存，比如我爬二手车，车牌是一个唯一值，我把车牌做哈希变成一个唯一索引，这样重复数据就不能插入了

布隆过滤器:网页URL的去重，垃圾邮件的判别，集合重复元素的判别，查询加速（比如基于key-value的存储系统）等

数据上传:

只要清洗去从完毕以后,就可以直接上传到公司的数据库中或者从本地数据库复制到公司数据库中,然后其他人调用就好了