python按列将一个大csv文件划分为多个小csv
有时候从数据库导出的文件会非常大,而且各种类型的数据会混杂在一起,在进行数据分析时会比较麻烦,我们需要将大文件按某种规律分为几个小文件,便于处理,这里用到了python里的pandas包,首先使用sort_value方法对文件进行排序,然后对排好的数据进行切分,这里利用groupby进行分割。
import pandas as pd
data = pd.read_csv(r'2021rewang.csv')
data = data.sort_values(by=['device_id','record