python中的dict类型数据如何获取_如何用Python的list或dict字段模式读取文件

Python用list或dict字段模式读文件的实例

前言

Python用于处理文本数据绝对是个利器，极为简单的读取、分割、过滤、转换支持，使得开发者不需要考虑繁杂的流文件处理过程(相对于JAVA来说的，嘻嘻)。博主自己工作中，一些复杂的文本数据处理计算，包括在HADOOP上编写Streaming程序，均是用Python完成。

而在文本处理的过程中，将文件加载内存中是第一步，这就涉及到怎样将文件中的某一列映射到具体的变量的过程，最最愚笨的方法，就是按照字段的下标进行引用，比如这样子：

# fields是读取了一行，并且按照分隔符分割之后的列表

user_id = fields[0]

user_name = fields[1]

user_type = fields[2]

如果按照这种方式读取，一旦文件有顺序、增减列的变动，代码的维护是个噩梦，这种代码一定要杜绝。

本文推荐两种优雅的方式来读取数据，都是先配置字段模式，然后按照模式读取，而模式则有字典模式和列表模式两种形式；

读取文件，按照分隔符分割成字段数据列表

首先读取文件，按照分隔符分割每一行的数据，返回字段列表，以便后续处理。

代码如下：

def read_file_data(filepath):

'''根据路径按行读取文件, 参数filepath：文件的绝对路径

@param filepath: 读取文件的路径

@return: 按\t分割后的每行的数据列表

'''

fin = open(filepath, 'r')

for line in fin:

try:

line = line[:-1]

if not line: continue

except:

continue

try:

fields = line.split("\t")

except:

continue

# 抛出当前行的分割列表

yield fields

fin.close()

使用yield关键字，每次抛出单个行的分割数据，这样在调度程序中可以用for fields in read_file_data(fpath)的方式读取每一行。

映射到模型之方法1：使用配置好的字典模式，装配读取的数据列表

这种方法配置一个{“字段名”: 字段位置}的字典作为数据模式，然后按照该模式装配读取的列表数据，最后实现用字典的方式访问数据。

所使用的函数：

@staticmethod

def map_fields_dict_schema(fields, dict_schema):

"""根据字段的模式，返回模式和数据值的对应值；例如 fields为['a','b','c'],schema为{'name':0, 'age':1}，那么就返回{'name':'a','age':'b'}

@param fields: 包含有数据的数组，一般是通过对一个Line String通过按照\t分割得到

@param dict_schema: 一个词典，key是字段名称，value是字段的位置；

@return: 词典，key是字段名称，value是字段值

"""

pdict = {}

for fstr, findex in dict_schema.iteritems():

pdict[fstr] =