python汇总数据的程序_Python数据处理常用程序模块汇总

Python数据处理常用程序模块汇总

本文主要将日后工作中常用到的一些简短程序块记录下来，以便可以快速更改进行适配，诸如数据读取程序，遍历程序等

1、CSV数据读取遍历模块

CSV将是工作中最常见到的一种数据格式，这里主要介绍两种方法读取CSV并遍历每一行的CSV数据

1.1、CSV模块

python中有自带的处理CSV数据的包，可以通过import csv导入使用，下面通过一个例子进行简要介绍：test.cst中由两列构成，且每一列都没有列名，通过csv.reader方法读取后返回的是一个迭代器dics，如果想遍历每一行数据，直接使用for循环进行比那里

import csv

path = r'I:/test.csv'

dics = csv.reader(open(path, 'r', encoding='utf-8'))

for row in dics:

print(row[0],row[1])

1.2、pandas模块

做数据相关工作少不了pandas模块，pandas中有read_csv方法读取csv，可以默认将第一行的每一列作为列名，也可以通过name参数设定列名；进行遍历时，可以使用data.rows得到一个迭代器，使用和1.1中相同的方法进行遍历，还可以使用data.iterrows()，其中有index(行名)和row(每一行的数据)两个可迭代变量，row是字典形式的。

import pandas as pd

data = pd.read_csv(path, names=['name1','name2'])

for index,row1 in data.iterrows():

print(row1['name'],row1['label'])