python dataframe (数据处理一些常用的)

1. 合并多个dataframe

d1、d2、d3、d4是dataframe

// 
frames=[d1,d2,d3,d4]
total=pd.concat(frames)

2.选择在另一个dataframe的数据

d5=total[d4["id"].isin(d3["id"])]

3.针对dataframe的某一列去重、drop na，保留重复的第一个

total1=total.drop_duplicates(["id"],keep="first")
total2=total.dropna(subset=["id"])

4. dataframe. rename

total3=total1.rename(columns={"id":"id_code"})

5.series 转变成 dataframe

id=total1["id"].to_frame()

6.join

d3=d1.join(d2.set_index('id'), on='id')

7.输入、输出

d1=pd.read_csv("d1.csv", encoding='latin-1')## encoding according to the type of data 
d1.to_csv("d1",index=False)