Python大数据分析-看了这篇文章，数据清洗你也就完全掌握了

所有做数据分析的前提就是：你得有数据，而且已经经过清洗，整理成需要的格式。

不管你从哪里获取了数据，你都需要认真仔细观察你的数据，对不合规的数据进行清理，虽然不是说一定要有这个步骤，但是这是一个好习惯，因为保不齐后面分析的时候发现之前因为没有对数据进行整理，而导致统计的数据有问题，今天小编就把平时用的数据清洗的技巧进行一个梳理，里面可能很多你都懂，那就当温习了吧!

文章大纲：

1. 如何更有效的导入你的数据
2. 全面的观察数据
3. 设置索引
4. 设置标签
5. 处理缺失值
6. 删除重复项
7. 数据类型转换
8. 筛选数据
9. 数据排序
10. 处理文本
11. 合并&匹配

导入数据：

pd.read_excel("aa.xlsx") 
pd.read_csv("aa.xlsx") 
pd.read_clipboard 
加Python学习qq裙：10667510  送全套零基础学习资料教程，程序员学习交流大本营

如何有效的导入数据：

1、限定导入的行，如果数据很大，初期只是为了查看数据，可以先导入一小部分：

pd.read_csv("aaa.csv",nrows=1000) 
pd.read_excel("aa.xlsx",nrows=1000) 

2、如果你知道需要那些列，而且知道标签名，可以只导入需要的数据：

pd.read_csv("aaa.csv",usecols=["A","B"]) 
pd.read_excel("aa.xlsx",usecols=["A","B"]) 

3、关于列标签，如果没有，或者需要重新设定：

pd.read_excel("aa.xlsx",header=None)#不需要原来的索引，会默认分配索引：0，1，2 
pd.read_excel("aa.xlsx",header=1)#设置第二行为列标签 
pd.read_excel("aa.xlsx",header=[1,2])#多级索引 
pd.read_csv("aaa.csv",header=None) 
pd.read_csv("aaa.csv",header=1) 
pd.read_csv("aaa.csv",header=[1,2]) 

4、设置索引列，如果你可以提供一个更有利于数据分析的索引列，否则分配默认的0，1，2：

pd.read_csv("aaa.csv",index_col=1) 
pd.read_excel("aa.xlsx",index_col=2) 

5、设置数值类型，这一步很重要，涉及到后期数据计算，也可以后期设置：

pd.read_csv("aaa.csv",converters = {'排名': str, '场次': float}) 
data = pd.read_excel(io, sheet_name = 'converters', converters = {'排名': str, '场次': float}) 

全面的查看数据：

查看前几行：

data.head() 

查看末尾几行：

查看数据维度：

data.shape(16281, 7) 

查看DataFrame的数据类型

df.dtypes 

查看DataFrame的索引

df.in