pandas数据处理操作

1、使用pandas将excel文件导入导出

import pandas as pd
#导入数据
#第一种方式，就一页
#openpyxl安装这个库，不用xlrd  pip install openpyxl
dl=pd.read_excel(r'C:\Users\lenovo\Desktop\data.xlsx',engine='openpyxl') #将数据表导入python
#df = pd.read_excel("http://www.website.com/data.xlsx") 如果是远程文件路径用这个
#第二种方式：指定导入Excel文件的某个Sheet页
df = pd.read_excel("文件路径", sheet_name="Sheet1",header=None, skiprows=1, usecols="A:B") #其中的header=None表示不使用表头，skiprows=1表示跳过第一行，usecols="A:C"表示只导入A列到B列的数据，可根据实际需要进行调整。
#第三种：导入Excel文件中的多个Sheet页
dfs = pd.read_excel("文件路径", sheet_name=["Sheet1","Sheet2"])

#导出数据
df.to_excel("C:/Users/Administrator/Desktop/new_data.xlsx", index=False)# index=False代表不保存索引信息

2、数据预处理

处理缺失值

df.fillna(0, inplace=True)          #将 DataFrame 中所有缺失值替换为 0

删除空值

df.dropnull()          

删除重复行

df.drop_duplicates(inplace=True)	#删除重复的行

3、常用方法

检测缺失值

isnull() 	#检测缺失值
notnull 	#检测非缺失值

时间处理

pd.to_datetime(str)        将str数据转换为datetime格式
pd.date_range(start_time, end_time, frep=‘M’)            1.参数frep指定时间的间隔依据，M表示按月划分。2.类似于python中的range()，不包括end_time。
pd.to_datetime(str) - MonthEnd(1)			获取到上个月的月份

排序

pd.sort_index()			按行排序或按列排序
pd.sort_values()		按值排序

统计函数

pd.sum()
pd.mean()
pd.median() #中位数
pd.std() #标准差
pd.max()
pd.min()
pd.abs()
pd.prod() #数组元素乘积
pd.cumprod() #累计乘积
pd.cumsum() #累计总和
pd.pct_change() #将每个元素与前一个元素进行比较，并计算变化百分比。