pandas 使用方法总结

数据的导入

import pandas as pd
pd.read_csv(filename) # 导入csv格式文件中的数据
pd.read_table(filename) # 导入有分隔符的文本 (如TSV) 中的数据
pd.read_excel(filename) # 导入Excel格式文件中的数据
pd.read_sql(query, connection_object) # 导入SQL数据表/数据库中的数据
pd.read_json(json_string) # 导入JSON格式的字符，URL地址或者文件中的数据
pd.read_html(url) # 导入经过解析的URL地址中包含的数据框 (DataFrame) 数据
pd.read_clipboard() # 导入系统粘贴板里面的数据
pd.DataFrame(dict)  # 导入Python字典 (dict) 里面的数据，其中key是数据框的表头，value是数据框的内容。

数据的导出

df.to_csv(filename) # 将数据框 (DataFrame)中的数据导入csv格式的文件中
df.to_excel(filename) # 将数据框 (DataFrame)中的数据导入Excel格式的文件中
df.to_sql(table_name,connection_object) # 将数据框 (DataFrame)中的数据导入SQL数据表/数据库中
df.to_json(filename) # 将数据框 (DataFrame)中的数据导入JSON格式的文件中

创建测试对象

pd.DataFrame(np.random.rand(10,5))  #创建一个5列10行的由随机浮点数组成的数据框 DataFrame
random_array=np.random.randint(low=0, high=10, size=(5, 5))  #创建一个值在0~10之间，5*5的二期数组
pd.DataFrame(random_array, columns=['a', 'b', 'c', 'd', 'e']) #加载数组并重命名列名
pd.Series(my_list)  #从一个可迭代的对象 my_list 中创建一个数据组

数据的查看与检查

df = pd.DataFrame(np.random.rand(10,5))
df.head(3) #查看数据框的前3行
df.tail(n) #查看数据框的最后n行
df.shape #查看数据框的行数与列数
df.info()  #查看数据框 (DataFrame) 的索引、数据类型及内存信息
df.describe()  #对于数据类型为数值型的列，查询其描述性统计的内容
s = pd.Series([1,2,3,3,4,np.nan,5,5,5,6,7])
s.value_counts(dropna=False) #查询每个独特数据值出现次数统计

数据的索引

我们对 DataFrame 进行选择，大抵从这三个层次考虑：行列、区域、单元格。
其对应使用的方法如下：

1. 行，列 --> df[]
2. 区域 --> df.loc[], df.iloc[], df.ix[]
3. 单元格 --> df.at[], df.iat[]
4. 重置索引-->.reset_index()     #会保留备份
5. 重新设置索引-->.set_index()  #完全覆盖索引

一 、df[]使用规则（一维操作）

• 行维度：整数切片、标签切片、<布尔数组>

df[:3]
df['a':'c']
df[[True,True,True,False,False,False]] # 前三行（布尔数组长度等于行数）
df[df['A']>0] # A列值大于0的行
df[(df['A']>0) | (df['B']>0)] # A列值大于0，或者B列大于0的行
df[(df['A']>0) & (df['C']>0)] # A列值大于0，并且C列大于0的行

• 列维度：标签索引、标签列表、Callable

df['A']
df[['A','B']]
df[lambda df: df.columns[0]] # Callable

二、df.loc[]使用规则（二维先行后列）

行维度：标签索引、标签切片、标签列表、<布尔数组>、Callable

df.loc['a', :]
df.loc['a':'d', :]
df.loc[['a','b','c'], :]
df.loc[[True,True,True,False,False,False], :] # 前三行（布尔数组长度等于行数）
df.loc[df['A']>0, :]
df.loc[df.loc[:,'A']>0, :]
df.loc[df.iloc[:,0]>0, :]
df.loc[lambda _df: _df.A > 0, :]

列维度：标签索引、标签切片、标签列表、<布尔数组>、Callable

df.loc[:, 'A']
df.loc[:, 'A':'C']
df.loc[:, ['A','B','C']]
df.loc[:, [True,True,True,False]] # 前三列（布尔数组长度等于行数）
df.loc[:, df.loc['a']>0]          # a行大于0的列
df.loc[:, df.iloc[0]>0]           # 0行大于0的列
df.loc[:, lambda _df: ['A', 'B']]

df.iloc[]使用规则（二维先行后列）

行维度：整数索引、整数切片、整数列表、<布尔数组>

df.iloc[3, :]
df.iloc[:3, :]
df.iloc[[0,2,4], :]
df.iloc[[True,True,True,False,False,False], :] # 前三行（布尔数组长度等于行数）
df.iloc[df['A']>0, :]       #× 为什么不行呢？想不通！
df.iloc[df.loc[:,'A']>0, :] #×
df.iloc[df.iloc[:,0]>0, :]  #×
df.iloc[lambda _df: [0, 1], :]

列维度：整数索引、整数切片、整数列表、<布尔数组>、Callable

df.iloc[:, 1]
df.iloc[:, 0:3]
df.iloc[:, [0,1,2]]
df.iloc[:, [True,True,True,False]] # 前三列（布尔数组长度等于行数）
df.iloc[:, df.loc['a']>0] #×
df.iloc[:, df.iloc[0]>0]  #×
df.iloc[:, lambda _df: [0, 1]]

数据的清洗

df.columns = ['a','b'] # 重命名数据框的列名称
df.index = ['a','b'] # 重命名数据框的行索引名称
pd.isnull(df) # 检查数据中空值出现的情况，并返回一个由布尔值(True,Fale)组成的列
pd.notnull(df) # 检查数据中非空值出现的情况，并返回一个由布尔值(True,False)组成的列
df.dropna() # 移除数据框 DataFrame 中包含空值的行
df.dropna(axis=1) # 移除数据框 DataFrame 中包含空值的列
df.fillna(x) # 将数据框 DataFrame 中的所有空值替换为 x
s.astype(float) # 将数组(Series)的格式转化为浮点数
s.replace(1,'one') # 将数组(Series)中的所有1替换为'one'
s.replace([1,3],['one','three']) # 将数组(Series)中所有的1替换为'one', 所有的3替换为'three'
df.rename(columns={"a":"A"}) # 将全体列重命名
df.rename(index = lambda x: x+ 1) # 改变全体索引

数据处理和函数使用

主要牵涉到的方法有：
查询(filter)、排序(sort)、分组(groupby)、计数(count)、数据分析(describe)

1. 查询
  df[df[col] > 0.5] # 选取数据框df中对应行的数值大于0.5的全部列
  df[(df[col] > 0.5) & (df[col] < 0.7)] # 选取数据框df中对应行的数值大于0.5，并且小于0.7的全部列
2. 排序
df.sort_values(col1) # 按照数据框的列col1升序(ascending)的方式对数据框df做排序
df.sort_values(col2,ascending=False) #按照数据框的列col2降序(descending)的方式对数据框df做排序
df.sort_values([col1,col2],ascending=[True,False]) # 按照数据框的列col1升序，col2降序的方式对数据框df做排序
3. 分组
df.groupby(col) # 按照某列对数据框df做分组
df.groupby(col1)[col2].mean() # 按照列col1对数据框df做分组处理后，返回对应的col2的平均值
4.计数
 .count() 方法，能对 DataFrame 中的某个元素出现的次数进行计数。
5.数据分析
.describe() 方法将对 DataFrame 里的数据进行分析，并一次性生成多个描述性的统计指标，方便用户对数据有一个直观上的认识。
生成的指标，从左到右分别是：计数、平均数、标准差、最小值、25% 50% 75% 位置的值、最大值。
6.函数的使用
df['col2'].apply() 方法，可以对 DataFrame 中的数据应用自定义函数，进行数据处理。

数据的连接与组合

df1.append(df2) # 在数据框df2的末尾添加数据框df1，其中df1和df2的列数应该相等
pd.concat([df1, df2],axis=1) # 在数据框df1的列最后添加数据框df2,其中df1和df2的行数应该相等
df1.join(df2,on=col1,how='inner') # 对数据框df1和df2做内连接，其中连接的列为col1
pd.merge(left, right, how='inner', on='Key') 。其中 left 参数代表放在左侧的 DataFrame，而 right 参数代表放在右边的 DataFrame；how='inner' 指的是当左右两个 DataFrame 中存在不重合的 Key 时，取结果的方式：inner 代表交集；Outer 代表并集。最后，on='Key' 代表需要合并的键值所在的列，最后整个表格会以该列为准进行归并。

数据的去重操作

df['col2'].unqiue()  查找 col2 列中所有不重复的值;
df['col2'].nunique() 方法，获取所有不重复值的个数：
df['col2'].value_counts() 同时获得所有值和对应值的计数：