Python3学习（三十八）：如何遍历一个目录下的同类型文件（csv、log等）

背景：

最近需要对一些csv日志进行数据格式转换，转化后接入统一的ELK日志。

但是csv文件比较繁多，当大小每到21M的时候，就会根据时间写入到新的csv文件中，一天将近有1000+个文件。

那么如何对某目录下的所有同类型文件进行遍历操作呢？我们以csv文件为例。

import re
import os
import json
import codecs

path = '/home/liao/python/csv'   #你需要遍历的文件目录，比如该目录下有a.csv,b.csv,c.csv
files =  os.listdir(path)
files_csv = list(filter(lambda x:x[-4:]=='.csv', files))

def data_handle():
    for i in range(len(files_csv)):
        with codecs.open('/home/liao/python/csv/{0}'.format(files_csv[i]), 'r') as data_log:
        for line in data_log: #针对每行数据进行处理
            xxxxxxxxxxxxxxxxxxxxxxxxx

上述代码的一些解释：

os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表。

filter(函数，序列)函数用于过滤序列，过滤掉不符合条件的元素，返回由符合条件元素组成的新列表。

lambda作为一个表达式，定义了一个匿名函数。

filter第一个参数为函数的情形，如果function(item)为True，则满足过滤条件。此时的lambda函数的形式是: lambda x: expression(x)。

小例子：

filter(lambda x: x, [-1, 0, 1]) #[-1, 1]

filter(lambda x: not x, [-1, 0, 1]) #[0]

filter(lambda x: x[-4:]=='.csv', files) #文件的最后四个字符为.csv