脚本背景: 提取了不同类别下的购买手机号码,由于数据量巨大,需要对数据进行分组,得到不同类别下的手机号码,同时自动拆分文件,按照一个特定类别输出文件。
import pandas as pd
#read data from csv
df=pd.read_csv('C:\\Users\\Administrator\\Documents\\haomabao.csv',sep=',',engine='python',header=[1,2])
#get the columns of df
df.columns=['telephone','cc']
c=list(df.columns)
print(c[1:2])
grouped=df.groupby(c[1:2]) #according different categories to group by the df
#delete duplicated data
ind_frame=df.drop_duplicates(subset=['cc'], keep='first')
print(ind_frame.cc)
print(range(len(ind_frame)))
for name in ind_frame.cc:
print(name)
df[df.cc==name].to_csv("F:\\result\\_"+u"%s" %name+".csv")
最后可以得到不同类别下的号码,并且每一个类别对应一个类别名称的CSV文件。此方法可举一反三应用在别的数据上。