python清洗完数据做什么_python数据清洗的基本思路是什么？

在做数据分析的时候，少不了数据清洗这个步骤。

很多时候我们会自己爬取数据，但是爬取了数据库的数据之后，数据不能直接拿来使用，我们怎么进行数据清洗和进行去重上传的

数据清洗:

数据清洗概念就是去重,检查数据一致性，处理无效值和缺失值等)删除重复信息、纠正存在的错误.

可以利用pandas模块(最常用的清洗模块)和正则或者numpy模块(机器学习),简单的去换行和去除空格可以直接调用方法====>replace,去掉换行符(\n),strip(),去掉头尾空行

数据去重:

(1)在scrapy中已经能做到url链接去重

(2)布隆过滤器(BloomFilter,原理和哈希基本一样)

(3)存数据库的时候先查询(如果不存)在再插入

(4)在数据中增加一个唯一索引字段，这个字段是某个字段做哈希，这样可以达到减少内存，比如我爬二手车，车牌是一个唯一值，我把车牌做哈希变成一个唯一索引，这样重复数据就不能插入了

布隆过滤器:网页URL的去重，垃圾邮件的判别，集合重复元素的判别，查询加速(比如基于key-value的存储系统)等

数据上传:

只要清洗去从完毕以后,就可以直接上传到数据库中，方便其他人使用