Dataframe 学习笔记1

Dataframe 学习笔记1

不可否认的是pandas的dataframe真的是用python处理表格数据的神器！
同样不可否认是是对一个没有系统学过df的人来说，各个属性和函数的用法真的是记不住啊，记不住！！！
笔记都在代码后面的注释了。这些功能都查过很多遍了，但总是记不住，应该还是没有养成良好的编程习惯。
多做笔记，多总结吧。

from glob import glob
import pandas as pd

fs = glob('./rst/分区/*')   #glob真的超好用，这一行返回分区文件夹下的所有文件夹名

for i in range(2,11): #areaid
    count = glob(fs[0] + "/*.csv")   #亮点同样在glob，这一行返回fs[0]这个文件夹下的所有.csv文件的文件名
    df = pd.read_csv(count[i-2], index_col=0)  #注意index_col=0，表示指定的df的第一列（时间）为索引列，建议处理时间序列都这样干
    for j in range(1, 10):
        fss = glob(fs[j] + "/*.csv")
        df2 = pd.read_csv(fss[i-2], index_col=0)
        df = pd.merge(df, df2, how="outer", on=["date","areaid"])  #合并两个df，how="outer"表示取两个df的并集，on=["date","areaid"]表示以这两列为关键字进行整合。需要注意的是，这里只有“date”也能达到想要的效果，但此时的结果会包含多个areaid列，造成数据冗余严重。所以这里的on还可以理解为以每个文件夹均有的两列，组成每行数据独有的id，再根据id进行整合。
    df = df.sort_values(by="date")    #按时间戳排序！这个真的太重要了，否则得一个个打开，在excel中排序！忘了的话，直接画图，很可能图错的稀里糊涂!
    df.to_csv("./rst/整合/area%.2d"%(i) + " data.csv", index=False)  #这里要注意index=False,否则会有一列名为Unnamed0的列，无效数据。

print("ok!")