Pandas用法

Pandas用法

扩展库pandas是基于扩展库numpy和matplotlib的数据分析模块，是一个开源项目，提供了大量标准数据模型和高校操作大型数据集所需要的功能。可以说pandas是使得python能够称为高效且强大的数据分析行业首选语言的重要因素之一。

扩展库pandas常用的数据结构有：

• Series：带标签的一维数组

• DatetimeIndex：时间序列

• DateFrame：带标签且大小可变的二维表格结构

一、生成数据表

1.导入pandas库

import pandas as pd

2.导出CSV或xlsx文件

df = pd.DataFrame(pd.read_csv('name.csv',header=1))
df = pd.DataFrame(pd.read_excel('name.xlsx'))

3.用pandas创建数据表

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],
 "date":pd.date_range('20130102', periods=6),
  "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
 "age":[23,44,54,32,34,32],
 "category":['100-A','100-B','110-A','110-C','210-A','130-F'],
  "price":[1200,np.NaN,2133,5433,np.NaN,4432]},  # np.NaN 在数值计算中具有特殊的性质，它与其他数值进行运算时，结果通常也是 NaN。这种行为有助于在处理包含缺失值的数据时进行标记和处理。
  columns =['id','date','city','category','age','price'])

二、数据表信息查看

1、维度查看

df.shape # (6,6)

2.数据表基本信息（维度、列名称、数据格式、所占空间等）

df.info()

3.每一列数据的格式

df.dtypes

4.某一列数据格式

df['id'].dtype

5.是否是空值

df.isnull()

6.某一列是否是空值

df['id'].isnull()

7.查看某一个的唯一值

df['id'].unique()

8.查看数据表的值

df.values

9.查看列名称

df.columns

10.查看前5行数据、后5行数据

df.head()   # 默认前5行数据
df.tail()	# 默认后5行数据

三、数据表清洗

1.用数字0填写空值

df=df.fillna(value=0)

2.使用列price的均值对NA进行填充

df['price']=df['price'].fillna(df['price'].mean())   # df.mean()获得每列数据平均值

3.清除city字段的字符首尾空格

df['city']=df['city'].map(str.strip)

4.city字段的字符转换小写

df['city']=df['city'].str.lower()

5.更改数据格式

df['price'].astype('int')

6.更改列名称

df=df.rename(columns={'category':'new-category'})

7.删除后出现的重复值

df['city']=df['city'].drop_duplicates()

8.删除先出现的重复值

df['city']=df['city'].drop_duplicates(keep='last')

9.数据替换

df['city']=df['city'].replace('sh','shanghai')

四、数据预处理

df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008],
"gender":['male','female','male','female','male','female','male','female'],
"pay":['Y','N','Y','Y','N','Y','N','Y',],
"m-point":[10,12,20,40,40,40,30,20]})

1.merge

df_inner=pd.merge(df,df1,how='inner')  # 内连接，取两张表的key的交集
df_left=pd.merge(df,df1,how='left')		# 左连接，以左边表格的键为基准进行配对，如果左边表格中的键在右边不存在，则用缺失值NaN填充
df_right=pd.merge(df,df1,how='right')   # 右连接，以右边表格的键为基准进行配对，如果右边表格中的键在左边不存在，则用缺失值NaN填充
df_outer=pd.merge(df,df1,how='outer')	# 'outer'是外连接，在拼接的过程中它会取两张表的键（key）的并集进行拼接

2.append

result=df1.append(df)

3.join

result = left.join(right, on='key')

4.concat

frames = [df1, df2, df3]
result = pd.concat(frames)

5.设置索引列

df.set_index('id')

6.按照特定列的值排序

df.sort_values(by=['age'])

7.按照索引列排序

df.sort_index(ascending=False)	# 默认正序，ascending=False倒序排序

8.如果prince列的值>3000，group列显示high，否则显示low

df['group']=np.where(df['price']>3000,'high','low')

9.对复合多个条件的数据进行分组标记

df.loc[(df['city']=='shanghai') & (df['price']>=2000 ),'sign']=1

五、数据提取

• loc函数按标签值进行提取；
• iloc按位置进行提取；

1.按索引提取单行的数值

df.loc[3]

2.按索引提取区域行数值

df.iloc[0:1]

3.提取4日之前的所有数据

df=df.reset_index()
df=df.set_index('date')
df[:'2013-01-04']

4.使用iloc按位置区域提取数据

df.iloc[:3,:2]

5.使用iloc按位置提取数据

df.iloc[[0,2,5],[4,5]]  # 提取第0、2、5行，4、5列

6.判断city列的值是否为北京

df['city'].isin(['beijing'])

7.判断city列里是否包含beijing或shanghai，然后将符合条件的数据提取出来

df.loc[df['city'].isin(['beijing','shanghai'])]

8.提取前三个字符，并生成数据表

df2=pd.DataFrame(df['category'].str[:3])

六、数据筛选

使用与、或、非三个条件配合大于、小于、等于对数据进行筛选

1.使用”与“进行筛选

df.loc[(df['age'] > 25) & (df['city'] == 'shanghai')]

2.使用”或“进行筛选

df.loc[(df['age'] > 25) | (df['city'] == 'shanghai'),['id','age']].sort_values(['age'])

3.使用“非”进行筛选

df.loc[df['city']!='shanghai']

4.对筛选后的数据按city列进行计数

df.loc[(df['age'] > 25) | (df['city'] == 'shanghai'),['id','age','city']].sort_values(['age']).city.count()

5.使用query函数进行筛选

df.query('city==["beijing","shanghai"]')