问题原因
1.最近在解析xml 文件时,之前用的DOM比较方便简单,但是现在发现xml文件高达6G,内存已经撑不住了,因为DOM解析是将xml数据全部加入到内存中形成完整的dom树,所以就改了流式解析。
SAX解析
优点: 基于事假驱动,顺序读写,速度快,解析时,占用内存小。
缺点:不能任意读取节点,灵活性差。
package com.yicong.boke.test.crawler.saxxml;
import java.io.File;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import javax.xml.parsers.SAXParser;
import javax.xml.parsers.SAXParserFactory;
import org.xml.sax.Attributes;
import org.xml.sax.SAXException;
import org.xml.sax.helpers.DefaultHandler;
/**
* @author yicong
* @date 2020年6月28日
*/
public class SaxHandlerTest extends DefaultHandler {
// 用于临时存储当前读到的标签名
private String curTag;// 用于方法跨度使用变量。
private Map<String, String> map = null;
private List<Map<String, String>> list = new ArrayList<Map<String, String>>();// 装数据
private String groupNode="item";// 确定一组数据的分界点
/*
* 此方法有三个参数 arg0是传回来的字符数组,其包含元素内容 arg1和arg2分别是数组的开始位置和结束位置
*/
@Override
public void characters(char[] arg0, int arg1, int arg2) throws SAXException {
System.out.print(new String(arg0, arg1, arg2));
if (curTag != null) {
String content = new String(arg0, arg1, arg2);
if (map!=null&&!content.contains("\n")) {// 把换行的的element去掉,即去掉本身自己
String ss = map.get(curTag);
if (ss != null) {// 防止有的数据需要多行才能打印出来
map.put(curTag, ss + content);
} else {
map.put(curTag, content);
}
}
}
super.characters(arg0, arg1, arg2);
}
/**
* 解析xml文件结束
*/
@Override
public void endDocument() throws SAXException {
System.out.println("\n结束解析");
super.endDocument();
}
/**
* 解析xml元素结束
*/
/*
* arg0是名称空间 arg1是包含名称空间的标签,如果没有名称空间,则为空 arg2是不包含名称空间的标签
*/
@Override
public void endElement(String arg0, String arg1, String arg2) throws SAXException {
System.out.print("</");
System.out.print(arg2);
System.out.print(">");
if (groupNode.equals(arg2)) {
// 调用添加数据
list.add(map);
map = null;
}
curTag = null;
super.endElement(arg0, arg1, arg2);
}
/**
* 开始解析xml文件
*/
@Override
public void startDocument() throws SAXException {
System.out.println("开始解析");
String s = "<?xml version=\"1.0\" encoding=\"UTF-8\"?>";
System.out.println(s);
super.startDocument();
}
/**
* 开始解析xml元素
*/
/*
* arg0是名称空间 arg1是包含名称空间的标签,如果没有名称空间,则为空 arg2是不包含名称空间的标签 arg3很明显是属性的集合
*/
@Override
public void startElement(String arg0, String arg1, String arg2, Attributes arg3) throws SAXException {
System.out.print("<");
System.out.print(arg2);
if (arg3 != null) {
for (int i = 0; i < arg3.getLength(); i++) {
System.out.print(" " + arg3.getQName(i) + "=\"" + arg3.getValue(i) + "\"");
}
}
System.out.print(">");
if (groupNode.equals(arg2)) {
map = new HashMap<String, String>();
}
curTag = arg2;// 将正在解析的节点名称赋给curTag
super.startElement(arg0, arg1, arg2, arg3);
}
public static void main(String[] args) throws Exception {
// 1.实例化SAXParserFactory对象
SAXParserFactory factory = SAXParserFactory.newInstance();
// 2.创建解析器
SAXParser parser = factory.newSAXParser();
// 3.获取需要解析的文档,生成解析器,最后解析文档
File f = new File("D:\\My Documents\\Desktop\\test.html");
SaxHandlerTest dh = new SaxHandlerTest();
parser.parse(f, dh);
}
}