在Python中利用Pandas库处理大数据的159种操作

尚学堂

pandas的数据结构介绍

pandas主要有两个数据结构：Series和DataFrame、虽然不能解决所有问题，但为大多数应用提供一种可靠的、易于使用的基础
一、Pandas数据结构
1、import pandas as pdimport numpy as npimport matplotlib.pyplot as plt
2、S1=pd.Series([‘a’,’b’,’c’]) series是一组数据与一组索引（行索引）组成的数据结构
3、S1=pd.Series([‘a’,’b’,’c’],index=(1,3,4)) 指定索引
4、S1=pd.Series({1:‘a’,2:’b’,3:’c’}) 用字典形式指定索引
5、S1.index() 返回索引
6、S1.values() 返回值
7、Df=pd.DataFrame([‘a’,’b’,’c’]) dataframe是一组数据与两组索引（行列索引）组成的数据结构
8、Df=pd.DataFrame([[a,A],[b,B],[c,C]],columns=[‘小写’,’大写’]，index=[‘一’,’二’,’三’])Columms 为列索引，index为行索引
9、pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspider 清华镜10、data={‘小写’:[‘a’,’b’,’c’],’大写’:[‘A’,’B’,’C’]} 传入字Df=Pd.DataFrame(data)
11、Df.index() df.columns()
二、读取数据
12、df=pd.read_excel(r’C:\user…xlsx’,sheet_name=’sheet1’) Pd.read_excel(r’C:\user…xlsx’,sheet_name=0) 读取excel表
13、Pd.read_excel(r’C:\user…xlsx’,index_col=0,header=0)index_col指定行索引，header指定列索引
14、pd.read_excel(r’C:\user…xlsx’,usecols=[0,1]) 导入指定列,不能有index_col和header
15、pd.read_tablel(r’C:\user…txt’，sep=’ ’) 导入txt文件,sep指定分隔符是什么
16、df.head(2) 展示前两行，默认展示前5行
17、df.shape 显示数据几行几列，不包含行和列索引
18、http://df.info() 可查看表中数据的类型
19、df.describe() 可获得表中数值类型指端的分布值（和、平均值、方差等）
三、数据预处理
20、http://df.info() 可显示表中哪个数据为空
21、df.isnull() 方法可以判断哪个值是缺失值，如果缺失返回True，否则为False
22、df.dropna() 默认删除含缺失值的行
23、df.dropna(how=’all’) 删除全为空值的行，不全为空值的行不会删除
24、df.fillna(0) 用0填充所有空值
25、df.fillna({‘性别’:’男’,’年龄’:’30’}) 对性别列中空值填充男，年龄填充30
26、df.drop_duplicates() 默认对所有值进行重复值检查，保留第一行的值27、df.drop_duplicates(subset=’性别’) 对性别列中重复值查询保留第一行28、df.drop_duplicates(subset=[’性别’,’公司’]，keep=’last’) 对性别和公司两列查重keep设置默认为first（保留第一个）