pandas处理excel数据

pandas去除重复数据

import pandas as pd
f = pd.read_excel('name.xlsx', 'sheet_name')
# 查看有重复的行
re_row = f.duplicated()
# 去除重复行数据
# drop_duplicates（subset=' 列名',keep='firsrt',inplace='True'）函数是删除DataFrame的某列中重复项的函数。
no_re_row = f.drop_duplicates()
# 可以指定删除哪一列重复数据
no_re_row = f.drop_duplicates(['c_content'])
# 保存文件
f.to_excel('name.xlsx')
# 保存文件，无index
f.to_excel('name.xlsx'， index=None)
# 保存文件，无表头
f.to_excel('name.xlsx'， header=None)

按照行列删除指定行列

# drop用法
print(df_excel.drop(['edu'],axis=1))#按照列删除edu这一列
print(df_excel.drop([0],axis=0))#按照行删除0这一行

待更新…

pandas读取csv文件

import pandas as pd
name ='tls_Icd10cmHumanReadableMap_US1000124_20210301.tsv'
df = pd.read_csv(name,sep='\t')
# 读取某列元素
df.loc['col_name']
# 删除两列元素
df.drop(['col_name1'，'col_name2'],axis=1)
# df.drop(columns=['col_name1'，'col_name2'])
# 根据某列元素，读取对应行
df.loc[df['referencedComponentId']==9982009]

pandas读取xlsx

import pandas as pd
file_path = '../raw_data/train.xlsx'
df = pd.read_excel(file_path, engine='openpyxl')

参考:python 删除excel表格重复行,数据预处理操作