python3 csv.gz_Python3分析CSV数据

2.1 基础Python与pandas

2.1.1 使用pandas处理CSV文件

读取CSV文件

#!/usr/bin/env python3

import sys

import pandas as pd

input_file = sys.argv[1]

output_file = sys.argv[2]

data_frame = pd.read_csv(input_file)

print(data_frame)

data_frame.to_csv(output_file, index=False)

使用Python内置的csv模块

#!/usr/bin/env python3

import csv

import sys

input_file = sys.argv[1]

output_file = sys.argv[2]

with open(input_file, 'r', newline=' ') as csv_in_file:

with open(output_file, 'w', newline = ' ') as csv_out_fileL

filereader = csv.reader(csv_in_file, delimiter = ',')

filewriter = csv.writer(csv_out_file, delimiter = ',')

for row_ist in filereader:

print(row_list)

filewriter.writerow(row_list)

with语句在语句结束时自动关闭文件对象。

使用csv模块reader函数创建文件读取对象filereader，读取输入文件中的行。

使用csv模块的writer函数创建文件写入对象filewriter，将数据写入输出文件。

函数的第二个参数(delimiter=',')是默认分隔符，如果输入和输出文件都用逗号分隔，就不需要此参数。

使用filewriter对象的writerow函数来将每行中的列表值写入输出文件。

2.2 筛选特定的行

在输入文件筛选出特定行的三种方法：

行中的值满足某个条件

行中的值属于某个集合

行中的值匹配正则表达式

从输入文件中筛选出特定行的通用代码结构：

for row in filereader:

***if value in row meets some business rule or set of rules:***

do something

else:

do something else

行中的值满足某个条件

pandas提供loc函数，可以同时选择特定的行与列。需要在逗号前设定行筛选条件，在逗号后设定列筛选条件。

例如，loc函数的条件设置为：Supplier Name列中姓名包含 Z，或者Cost列中的值大于600.0，并且需要所有的列。

pandas_value_meets_condition.py

#!/usr/bin/env python3

import pandas as pd

import sys

input_file = sys.argv[1]

output_file = sys.argv[2]

data_frame = pd.read_csv(input_file)

data_frame['Cost'] = data_frame['Cost'].str.strip('$').astype(float)

data_frame_value_meets_condition = data_frame.loc[(data_frame\

['Supplier Name'].str.contains('Z')) | (data_frame['Cost'] > 600.0), :]

data_frame_value_meets_condition.to_csv(output_file, index=False)

行中的值属于某个集合

例如，保留购买日期属于集合{'1/20/14', '1/30/14'} 的行，将结果写入输出文件。

pandas_value_in_set.py

#!/usr/bin/env python3

import pandas as pd

import sys

input_file = sys.argv[1]

output_file = sys.argv[2]

data_frame = pd.read_csv(input_file)

important_dates = ['1/20/14', '1/30/14']

data_frame_value_in_set = data_frame.loc[data_frame['Purchase Date'].\

isin(important_dates), :]

data_frame_value_in_set.to_csv(output_file, index=False)

行中的值匹配正则表达式

例如，保留发票编号由“001-”开头的行，并将结果写入输出文件。

pandas_value_matches_pattern.py

#!/usr/bin/env python3

import pandas as pd

import sys

input_file = sys.argv[1]

output_file = sys.argv[2]

data_frame = pd.read_csv(input_file)

data_frame_value_matches_pattern = \

data_frame.loc[data_frame['Invoice Number'].str.startswith("001-"), :]

data_frame_value_matches_pattern.to_csv(output_file, index=False)

使用pandas时，使用startswith函数来搜索数据。

2.3选取特定列

列索引值

#!/usr/bin/env python3

import pandas as pd

import sys

input_file = sys.argv[1]

output_file = sys.argv[2]

data_frame = pd.read_csv(input_file)

data_frame_column_by_index = data_frame.iloc[:, [0, 3]]

# 用iloc函数根据索引位置选取列

data_frame_column_by_index.to_csv(output_file, index=False)

列标题

只保留发票号码和购买日期两列。

#!/usr/bin/env python3

import pandas as pd

import sys

input_file = sys.argv[1]

output_file = sys.argv[2]

data_frame = pd.read_csv(input_file)

data_frame_column_by_name = data_frame.loc[:, ['Invoice Number', \

'Purchase Date']]

# 用loc函数选取列，这次使用的是列标题

data_frame_column_by_name.to_csv(output_file, index=False)

2.4 选取连续的行

pandas提供drop函数根据行索引或列标题来丢弃行或列，提供iloc函数根据行索引选取一个单独行作为列索引，提供reindex函数为数据框重新生成索引。

#!/usr/bin/env python3

import pandas as pd

import sys

input_file = sys.argv[1]

output_file = sys.argv[2]

data_frame = pd.read_csv(input_file, header=None)

data_frame = data_frame.drop([0, 1, 2, 16, 17, 18])

data_frame.columns = data_frame.iloc[0]

data_frame = data_frame.reindex(data_frame.index.drop(3))

data_frame.to_csv(output_file, index=False)

2.5 添加标题行

pandas的read_csv函数可以指定输入文件不包含标题行，并可以提供一个列标题列表。

#!/usr/bin/env python3

import pandas as pd

import sys

input_file = sys.argv[1]

output_file = sys.argv[2]

header_list = ['Supplier Name', 'Invoice Number',\

'Part Number', 'Cost', 'Purchase Date']

data_frame = pd.read_csv(input_file, header=None, names=header_list)

data_frame.to_csv(output_file, index=False)

2.6 读取多个CSV文件

文件计数与文件中的行列计数

#!/usr/bin/env python3

import csv

import glob

# glob模块可以定位匹配于某个特定模式的所有路径名。

# 模式中可以包含Unixshell风格的通配符，比如*。

import os

# os 模块包含用于解析路径名的函数。

# 例如，os.path.basename(path) 返回path的基本文件名。

# 即，如果path是C:\Users\Clinton\Desktop\my_input_file.csv，

# 那么os.path.basename(path) 返回my_input_file.csv。

import sys

input_path = sys.argv[1]

file_counter = 0

for input_file in glob.glob(os.path.join(input_path, 'sales_*')):

row_counter = 1

with open(input_file, 'r', newline='') as csv_in_file:

filereader = csv.reader(csv_in_file)

header = next(filereader, None)

for row in filereader:

row_counter += 1

print('{0!s}: \t{1:d} rows \t{2:d} columns'.format(\

os.path.basename(input_file), row_counter, len(header)))

file_counter += 1

print('Number of files: {0:d}'.format(file_counter))

创建for循环，在一个输入文件集合中迭代，并使用glob模块和os模块中的函数创建输入文件列表以供处理。

os模块的os.path.join()函数将函数圆括号中的两部分连接在一起。input_path是包含输入文件的文件夹的路径，'sales_' 代表任何以模式'sales_' 开头的文件名。

glob 模块中的glob.glob() 函数将'sales_' 中的星号(*)转换为实际的文件名。在这个示例中，glob.glob() 函数和os.path.join() 函数创建了一个包含3 个输入文件的列表：

['C:\Users\Clinton\Desktop\sales_january_2014.csv',

'C:\Users\Clinton\Desktop\sales_february_2014.csv',

'C:\Users\Clinton\Desktop\sales_march_2014.csv']

然后，这行开头的for 循环语句对于列表中每个输入文件执行下面缩进的各行代码。

这行代码使用{}占位符将3 个值传入print 语句。对于第一个值，使用os.path.basename() 函数从完整路径名中抽取出基本文件名。对于第二个值，使用row_counter 变量来计算每个输入文件中的总行数。最后，对于第三个值，使用内置的len 函数计算出列表变量header 中的值的数量，这个列表变量中包含了每个输入文件的列标题列表。我们使用这个值作为每个输入文件中的列数。最后，在第15 行代码打印了每个文件的信息之后，第17 行代码使用file_counter 变量中的值显示出脚本处理的文件的数量。

要运行这个脚本，在命令行中输入以下命令，然后按回车键：

python 8csv_reader_counts_for_multiple_files.py "C:\Users\Clinton\Desktop"

要处理多个文件，所以必须使用包含所有输入文件的文件夹。

2.7 从多个文件中连接数据

pandas可以直接从多个文件中连接数据。基本过程就是将每个输入文件读取到pandas数据框中，将所有数据框追加到一个数据框列表，然后使用concat 函数将所有数据框连接成一个数据框。concat函数可以使用axis 参数来设置连接数据框的方式，axis=0 表示从头到尾垂直堆叠，axis=1 表示并排地平行堆叠。

#!/usr/bin/env python3

import pandas as pd

import glob

import os

import sys

input_path = sys.argv[1]

output_file = sys.argv[2]

all_files = glob.glob(os.path.join(input_path,'sales_*'))

all_data_frames = []

for file in all_files:

data_frame = pd.read_csv(file, index_col=None)

all_data_frames.append(data_frame)

data_frame_concat = pd.concat(all_data_frames, axis=0, ignore_index=True)

data_frame_concat.to_csv(output_file, index = False)

这段代码垂直堆叠数据框。如果你需要平行连接数据，那么就在concat 函数中设置axis=1。除了数据框，pandas 中还有一个数据容器，称为序列。你可以使用同样的语法去连接序列，只是要将连接的对象由数据框改为序列。有时候，除了简单地垂直或平行连接数据，你还需要基于数据集中的关键字列的值来连接数据集。pandas 提供了类似SQL join 操作的merge 函数。如果你很熟悉SQL join，那么就非常容易理解merge 函数的语法：pd.merge(DataFrame1, DataFrame2, on='key', how='inner')。

Python 的另一个内置模块NumPy 也提供了若干函数来垂直或平行连接数据。通常是将NumPy 导入为np。然后，要垂直连接数据，你可以使用np.concatenate([array1, array2], axis=0)、np.vstack((array1, array2)) 或np.r_[array1, array2]。同样，要平行连接数据，你可以使用np.concatenate([array1, array2], axis=1)、np.hstack((array1, array2)) 或np.c_[array1, array2]。

2.8 计算每个文件中值的总和与均值

pandas 提供了可以用来计算行和列统计量的摘要统计函数，比如sum 和mean。下面的代码演示了如何对于多个文件中的某一列计算这两个统计量(总计和均值)，并将每个输入文件的计算结果写入输出文件。

#!/usr/bin/env python3

import pandas as pd

import glob

import os

import sys

input_path = sys.argv[1]

output_file = sys.argv[2]

all_files = glob.glob(os.path.join(input_path,'sales_*'))

all_data_frames = []

for input_file in all_files:

data_frame = pd.read_csv(input_file, index_col=None)

total_cost = pd.DataFrame([float(str(value).strip('$').replace(',','')) \

for value in data_frame.loc[:, 'Sale Amount']]).sum()

average_cost = pd.DataFrame([float(str(value).strip('$').replace(',','')) \

for value in data_frame.loc[:, 'Sale Amount']]).mean()

data = {'file_name': os.path.basename(input_file),

'total_sales': total_sales,

'average_sales': average_sales}

all_data_frames.append(pd.DataFrame(data, \

columns=['file_name', 'total_sales', 'average_sales']))

data_frames_concat = pd.concat(all_data_frames, axis=0, ignore_index=True)

data_frames_concat.to_csv(output_file, index = False)

列表生成式将销售额列中带美元符号的字符串转换为浮点数，然后使用数据框函数将此对象转换为DataFrame，以便可以使用这两个函数计算列的总计和均值。

因为输出文件中的每行应该包含输入文件名，以及文件中销售额的总计和均值，所以可以将这3 种数据组合成一个文本框，使用concat 函数将这些数据框连接成为一个数据框，然后将这个数据框写入输出文件。