pandas 使用经验总结_汇总

pandas 使用经验

import pandas as pd
#1 读取excel 读input_path,sheet_name为test,columns为['ceshi']
df = pd.read_excel(input_path,sheet_name="test",use_cols=["ceshi"])
#2 写入到excel 写入到file_path,index不写入
df.to_excel(file_path,index=False)
#3 将满足df中ceshi列不为"无"的行，重新构成df
df = df[df["ceshi"]!='无']
#4 修改指定列的名字,仅允许一次修改一个名字
df = df.rename(columns={"ceshi":"ceshi1"})
#5 如何将json的列展开
# df['ceshi'] 列内数据为json格式 {"name":"zhangsan","age":18}
tmp = df["ceshi"].map(eval).apply(pd.Series)
# tmp.columns 即 ['name','age']
df[tmp.columns] = tmp
#7 如何对数据进行去重,针对多个字段的去重，单个字段的去重直接使用drop_duplicates()
# 1构建filter字段
df.loc[:,"filter"] = df["ceshi"] + ":" + df["ceshi1"]
need_df = df.drop_duplicates(subset='filter',keep='first',inplace=False)
#8 多个条件过滤
df_sheet = df[(df['ceshi']=="key1")& (df['ceshi1']=="key2")]
#9 修改列名
df_sheet.columns = ["ceshi01","ceshi02"]
#10 合并数据 df_sheet和df合并数据 共有列名为ceshi，合并方式为right链接
data = pd.merge(df_sheet,df,on='ceshi',how='right')
# 11.判断数据是否有重复且统计重复量
data[data.duplicated()].count()
# 12.删除重复数据
data.drop_duplicates(inplace=True)
# 13.重建索引
data.reset_index(drop=True,inplace=True) # 重建索引
# 是否有空值
data.isnull()  # 返回都是 bool 类型
# 是否没有空值
data.notnull() # 返回都是 bool 类型