python写xml文件 数据量特别大_python处理xml大文件[xml.sax]

博客已迁移， 新地址

=====================

今天遇到大文件处理，使用dom占用资源太多，改用sax处理

dom和sax区别可以自己google下

需求：读取xml数据文件，文件较大，需要实时处理插入到数据库

使用到的包：xml.sax

xml文件格式：

100000

男

北京，海淀区

437

1989

333

242

null

大学

1

2月14日

xml.sax

处理时并不会像dom一样可以以类似节点的维度进行读取

它只有 开始标签  内容  结束标签 之分

处理思想是：通过一个handler，对开始标签，内容，结束标签各有一个处理函数

直接上代码+注解

#person 处理类

from xml.sax import handler,parseString

class PersonHandler(handler.ContentHandler):

def __init__(self, db_ops):

#db op obj

self.db_ops = db_ops

#存储一个person的map

self.person = {}

#当前的tag

self.current_tag = ""

#是否是tag之间的内容 ，目的拿到tag间内容，不受空白的干扰

self.in_quote = 0

#开始，清空map

def startElement(self, name, attr):

#以person，清空map

if name == "person":

self.person = {}

#记录 状态

self.current_tag = name

self.in_quote = 1

#结束，插入数据库

def endElement(self, name):

#以person结尾 代表读取一个person的信息结束

if name == "person":

#do something

in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ])

print in_sql % in_fields

db_ops.insert( in_sql%(in_fields))

#处理

self.in_quote = 0

def characters(self, content):

#若是在tag之间的内容，更新到map中

if self.in_quote:

self.person.update({self.current_tag: content})

最后加上插入数据库的部分

#!/usr/bin/python

# -*- coding:utf-8 -*-

#parse_person.py

#version : 0.1

#author : wukunliang@163.com

#desc : parse person.xml and out sql

import sys,os

import MySQLdb

reload(sys)

sys.setdefaultencoding('utf-8')

in_sql = "insert into person(id,sex,address,fansNum,summary,wbNum,gzNum,blog,edu,work,renZh,brithday) values(%s, %s, %s, %s, %s, %s,

%s, %s, %s, %s, %s, %s)"

fields = ("id","sex","address","fansNum","summary","wbNum","gzNum","blog","edu","work","renZh","brithday")

#数据库方法

class Db_Connect:

def __init__(self, db_host, user, pwd, db_name, charset="utf8", use_unicode = True):

print "init begin"

print db_host, user, pwd, db_name, charset , use_unicode

self.conn = MySQLdb.Connection(db_host, user, pwd, db_name, charset=charset , use_unicode=use_unicode)

print "init end"

def insert(self, sql):

try:

n = self.conn.cursor().execute(sql)

return n

except MySQLdb.Warning, e:

print "Error: execute sql '",sql,"' failed"

def close(self):

self.conn.close()

#person 处理类

from xml.sax import handler,parseString

class PersonHandler(handler.ContentHandler):

def __init__(self, db_ops):

#db op obj

self.db_ops = db_ops

#存储一个person的map

self.person = {}

#当前的tag

self.current_tag = ""

#是否是tag之间的内容

self.in_quote = 0

#开始，清空map

def startElement(self, name, attr):

#以person，清空map

if name == "person":

self.person = {}

#记录 状态

self.current_tag = name

self.in_quote = 1

#结束，插入数据库

def endElement(self, name):

#以person结尾 代表读取一个person的信息结束

if name == "person":

#do something

in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ])

print in_sql % in_fields

db_ops.insert( in_sql%(in_fields))

#处理

self.in_quote = 0

def characters(self, content):

#若是在tag之间的内容，更新到map中

if self.in_quote:

self.person.update({self.current_tag: content})

if __name__ == "__main__":

f = open("./person.xml")

#如果源文件gbk 转码 若是utf-8，去掉decode.encode

db_ops = Db_Connect("127.0.0.1", "root", "root", "test")

parseString(f.read().decode("gbk").encode("utf-8"), PersonHandler(db_ops))

f.close()

db_ops.close()

平时拿python来分析数据，工具脚本还有hadoop streamming，但是用的面和深度实在欠缺

只能说道行还浅，需要多多实践

The end!