python pandas 练习

环境：win10+python3.6

目的：用pandas读取txt大文件（3百万行）并按某个字段值分成不同的文件txt

#惯例先引入模块
import pandas as pd

#导入数据，open和pd的read_csv那个更效率呢？
#文件在代码文件当前文件夹下，可以不写路径
#用gbk编码读取文本
#该txt文件没有标题header=None，如果第一行是标题，这样设置 header=0
#delimiter = '\t'这是分行号。文件中的分隔符是"|",但没能正确识别出来。
df = pd.read_csv("freelist.txt",encoding="gbk",header=None,delimiter="\t")
print(df.head())

得到的df是有3百万行和一列的数据,如下表:

                                             0
0        20170405|20170405|A01店|10|1143163301|深圳市...
1        20170405|20170405|b01店|10|1143163301|深圳市...

然后给df分列：分割符是 |

df1 = df[0].str.split('|',expand=True)

假设是按店名称分拆txt：

#构建一个列表，临时装载要拆分的店面，下面是怎么把店面都找出来。
q = []
#s是店铺数据集，有大量重复的数字，准备去重
s = df1[3].values

#数据去重
for a in s:
    if a not in q:
        q.append(a)
#然后呢，根据店面情况拆分txt，并把筛选过后的txt保存到shu/的地方
for b in q:
    df1[df1[5]==b].to_csv("shu/"+b+".txt",index=None)

#大功告成，最后可以做个日志文件：
import datetime

#取当前时间
t = datetime.datetime.now()
name = "%04d"%(t.year)+"%02d"%(t.month)+"%02d"%(t.day)
log = open('log'+ name +'.txt','a')
log.write('\n'+ t.strftime("%Y-%m-%d %H:%M:%S") + '   :开始日志')