NGSIM数据集高速公路路段筛选（1.大型CSV文件2.使用python的pandas模块）

主要用到的技能点

1. 大型CSV文件的读取方法
2. 按组合条件筛选方法
3. dataframe导出为csv文件的方法

步骤

1. 读取CSV文件

reader = pd.read_csv('C:/Users/Administrator/Desktop/thesis/NGSIM/NGSIM/after_utf-8.csv', error_bad_lines=False, sep=';',
                     iterator=True, warn_bad_lines=True)

其中的参数sep=’;’ 表示按分隔符’;'分列
error_bad_lines=False 表示忽略有空值的行
2.按块读取，并将读取出的块重新连接

loop = True
chunkSize = 10000   #设置一次读取的行数，可以自己设置合适的值
chunks = []
while loop:
    try:
        chunk = reader.get_chu