NekoHTML读书笔记

  J. Andrew ClarkJava写了一系列的工具(Java APIs),NekoHTML是其中之一。
T!og"lj;QGuest  NekoHTML是一个简单地HTML扫描器和标签补偿器(tag balancer) ,使得程序能解析HTML文档并用标准的XML接口来访问其中的信息。这个解析器能投扫描HTML文件并“修正”许多作者(人或机器)在编写HTML文档过程中常犯的错误。NekoHTML能增补缺失的父元素、自动用结束标签关闭相应的元素,以及不匹配的内嵌元素标签。NekoHTML的开发使用了Xerces Native Interface (XNI),后者是Xerces2的实现基础。

  

一、运行要求

  从NekoHTML主页上下载nekohtml-latest.zip,目前版本是0.8.
*R'XfdG-P XqGuest  NekoHTML要求运行在java1.1或更高版本,Xerces-J 2.0或更高版本。(我在试用时,随便拿了个xerces的包来用,结果例如运行老时不能通过,折腾半天后才发现版本不够所致.:)
/g8U a$PgGuest  

二、使用NekoHTML

浙江工商大学个人门户9e-aX#F d0Lj$`
1、透明地创建HTML解析器
v~,R h0D)YzUBGuest  利用Xerces2.0为基础,应用程序通过JAXP实例化解析器对象时,可以透明地创建HTML解析器,此时只需要将NekoHTML的jar文件,在CLASSPATH中放在Xerces的jar文件之前即可。nekohtmlXni.jar中的META-INF/services/org.apache.xerces.xni.parser.XMLParserConfiguration文件会被Xerces的读取并取代标准的设置文件,此处org.apache.xerces.xni.parser.XMLParserConfiguration文件的内容就是一个字符串“org.cyberneko.html.HTMLConfiguration”。这种方法的好处是简单透明,缺点是影响了Xerces在其它情况下的使用。

 

2、便利的HTML解析器类
Y+c j}qB:K(uGuest  要想避免上述的问题,可以使用org.cyberneko.html.parsers包的DOM和SAX解析器类来创建解析器,这两个类都使用了HTMLConfiguration类。解析器一旦创建之后,就可以解析HTML文件,并用标准的XML接口来访问文件中的信息,就象面对的是一个XML文件一样。浙江工商大学个人门户gIO2Eb/c
  下面的代码是NekoHTML自带的例程,我改了一下,使其可以显示HTML文件内容,而不显示类的名字。

package sample;

 

import org.cyberneko.html.parsers.DOMParser;
5y2oT&_uzGuest import org.w3c.dom.Document;
7gP1zQRhh TcGuest import org.w3c.dom.Node;

public class TestHTMLDOM {
gN {T#K:FnFGuest public static void main(String[] argv) throws Exception {
wjCl&d:v%j/bGuest DOMParser parser = new DOMParser();
fTRz}"djT6W$fGuest for (int i = 0; i < argv.length; i++) {浙江工商大学个人门户 mK~"M:Dq
parser.parse(argv[i]);
/t0O,pb3]4nyGuest print(parser.getDocument(), "");浙江工商大学个人门户xr:jLl)p p;^
}
k/4F f JxhkGuest }
h"X5`Nt$EGuest public static void print(Node node, String indent) {
GEjLV9{'n+TGuest // System.out.println(indent+node.getClass().getName());浙江工商大学个人门户J5G%T2k8W5_F
if (node.getNodeValue() != null){浙江工商大学个人门户'd2~-y{T
if("".equals(node.getNodeValue().trim())){
n `;P.l6@4wGuest }else{
/M+ADhIW0IGuest System.out.print(indent);浙江工商大学个人门户)zF6Ft!nv,P
System.out.println(node.getNodeValue());
JD@akGuest }浙江工商大学个人门户N;j:b8e)F#}
}浙江工商大学个人门户3x4_2C)|3T

L A/hdF9}iGuest Node child = node.getFirstChild();浙江工商大学个人门户J.o9s;xEF
while (child != null) {浙江工商大学个人门户+Y.o.`/V'Pyg
print(child, indent+" ");
%v2C;h~#?q,mGuest child = child.getNextSibling();浙江工商大学个人门户B+v O5u+H4r
}
4^-['er2BVV qGuest }
2v'n9z3/$^Guest }浙江工商大学个人门户tpk|ip+E$}

编译运行如下:

cd $NEKOHTML_HOME 浙江工商大学个人门户 p)/ L6wfv
cp build_html.xml build.xml 浙江工商大学个人门户n] byS+M&o
ant
L2at:Ha1wGuestjava -cp nekohtml.jar;nekohtmlSamples.jar;xmlParserAPIs.jar;xercesImpl.jar sample.TestHTMLDOM test.html

浙江工商大学个人门户1?3sM)p_^&~+n v%/j
如果一切正常可以显示HTML的内容了。
M5s1Q`1ja[1mGuest3、文档片段解析浙江工商大学个人门户Yt,Q.mf
  除了DOM和SAX类,NekoHTML还提供了一个实验性质的DOMFragmentParser类,用以解析HTML文件的片段。我个人认为,由于浏览器的强大的容错能力,即使一个片段的HTML文件,也可以正确显示,由此也变相地造成了很多人不再关心的HTML的完整要求了。这个类,也许将是用的最多的。下面,看看nutch是如何使用nekoHTML的。

package net.nutch.fetcher;
Z8Hh [4@!a|Guest ...浙江工商大学个人门户~/&bC0wxT)q/3C
import org.cyberneko.html.parsers.*;
KNNu;RjGuest import org.xml.sax.*;浙江工商大学个人门户kj'c)Di/QNPp
import org.w3c.dom.*;
Gph/^ QJi `Guest import org.w3c.dom.html.*;浙江工商大学个人门户Oh#m;my)sC
import org.apache.html.dom.*;

 

/* A simple fetcher. */
p$zb9^eV }_ DGuest public class Fetcher {
*qNw2{ @d.UA ekGuest ....浙江工商大学个人门户b:N!/6`0Z&Qkha
private DOMFragmentParser parser = new DOMFragmentParser();浙江工商大学个人门户0H%Z)p4Cg
....
i|&| J3TfE_)EGuest private void handleFetch(URL url, FetchListEntry fle, Http.Response response)浙江工商大学个人门户xAi3XP;`Q _~
throws IOException, SAXException {浙江工商大学个人门户%^V(}dG+J5}}/7I

)]d#pV?r!JyVGuest //判断HTTP应答包的类型,只放过html文件浙江工商大学个人门户R`#] K4Nv
String contentType = response.getHeader("Content-Type");
*Fc5P4C(v Mh0`g4`Guest if (contentType != null && !contentType.startsWith("text/html"))浙江工商大学个人门户8Z+k0zp{
throw new IOException("Unknown content-type: " + contentType);浙江工商大学个人门户 Sc;AG(M Ahv
//创建文件片段对象
Kbr0T(k8C:T7X%tGuest DocumentFragment node = new HTMLDocumentImpl().createDocumentFragment();
-m%fz,p(Z}[fsGuest //解析HTML内容
t["E7rp1F!kGuest parser.parse(new InputSource(new ByteArrayInputStream(response.getContent())),node);
O~.X o[Guest //取得全部文本内容浙江工商大学个人门户4m|,yKs/S!w
StringBuffer sb = new StringBuffer();
'w&Ga:oPGuest getText(sb, node);
jR%?7VOXs%OcGuest String text = sb.toString();
,LS I.D)]]6zFGuest //取得标题信息浙江工商大学个人门户 d1dR6}Q^I
sb.setLength(0);
m U"vL|h'MGuest getTitle(sb, node);浙江工商大学个人门户#Q4z*y?#u4y+h3v
String title = sb.toString().trim();浙江工商大学个人门户a+rgU3p
//取得该页所有的出链浙江工商大学个人门户'Y6y9X |Au_
ArrayList l = new ArrayList();
Q5U)?:t6H7~Guest getOutlinks(url, l, node);浙江工商大学个人门户AZVp d

6dx1h+h)?+fGuest //显示结果,存储信息浙江工商大学个人门户.DYk9xjj^,^'n
Outlink[] outlinks = (Outlink[])l.toArray(new Outlink[l.size()]);浙江工商大学个人门户k$s3D"i9^!Z7e
LOG.fine("found " + outlinks.length + " outlinks in " + url);

outputPage(new FetcherOutput(fle, MD5Hash.digest(response.getContent()),
+w9U2^ l/iQ!UGuest true, title, outlinks),
NIz_UGuest new FetcherContent(response.getContent()),浙江工商大学个人门户RB0z)fmW+w
new FetcherText(text));
|;t2yVzp3SnSGuest }浙江工商大学个人门户T`~!{[!V{8j
private static void getText(StringBuffer sb, Node node) {
%F4tV.Y/p1G:wmGuest if (node.getNodeType() == Node.TEXT_NODE) {
W-^O[lCcGuest sb.append(node.getNodeValue());//取得结点值,即开始与结束标签之间的信息浙江工商大学个人门户 K(RUCS'g
}
o)A9a^/Guest NodeList children = node.getChildNodes();浙江工商大学个人门户7/"P;@4P^"}O&Kj
if ( children != null ) {浙江工商大学个人门户 ~*K QW1F(`7[]Y` S
int len = children.getLength();
-k H:UywUGuest for ( int i = 0; i < len; i++ ) {
P+~ dI(Nb8l w(kGuest getText(sb, children.item(i));//递归遍历DOM树
1y/P;D3B"[Guest }
t~R` s c-aGuest }
}9_$I X;xm K"xY8@BGuest }

private static boolean getTitle(StringBuffer sb, Node node) {
-w({AYtv+{8y XGuest if (node.getNodeType() == Node.ELEMENT_NODE) {
.nsxL0n1YGuest if ("title".equalsIgnoreCase(node.getNodeName())) {浙江工商大学个人门户R"cp.U }*S.Pi {)sx
getText(sb, node);
]Vl'V5sRGuest return true;
[ye%dB&o{Guest }
F4Ow&FHGuest }浙江工商大学个人门户e'sEq-R]
NodeList children = node.getChildNodes();浙江工商大学个人门户'al6LbM;BJ`x~
if (children != null) {
|9C5M[ P|aE"|Guest int len = children.getLength();
7op|6["|I;~IGuest for (int i = 0; i < len; i++) {
2^[uO+L|)M(W.`qJqtGuest if (getTitle(sb, children.item(i))) {浙江工商大学个人门户){2K"f6h'tF S
return true;浙江工商大学个人门户)a*lqiFY
}
*Us5}I^:/Guest }
sWiD#Q O1^Guest }浙江工商大学个人门户L7xo} HR
return false;浙江工商大学个人门户U8l*d|p:_
}

private static void getOutlinks(URL base, ArrayList outlinks, Node node) {浙江工商大学个人门户 b)nk,f6qr
if (node.getNodeType() == Node.ELEMENT_NODE) {
i /|K%@%s"q7oX/c/uGuest if ("a".equalsIgnoreCase(node.getNodeName())) {
UCH8Vc.l&lCB6SGuest StringBuffer linkText = new StringBuffer();浙江工商大学个人门户#V7hX] P5T/XuH
getText(linkText, node);

NamedNodeMap attrs = node.getAttributes();浙江工商大学个人门户,xi2~5X)YW]AY'v*e
String target= null;浙江工商大学个人门户%B%}'SL`B4Dc9CKM
for (int i= 0; i < attrs.getLength(); i++ ) {
'Fo5A4]5k/W qGuest if ("href".equalsIgnoreCase(attrs.item(i).getNodeName())) {浙江工商大学个人门户.]T^X$c(s{
target= attrs.item(i).getNodeValue();//在DOM树中,属性是一个结点。浙江工商大学个人门户)aU pO$I1/cDjU$Ey
break;浙江工商大学个人门户#Tu@[2d2w6nG3F`
}
e+fAv4i K(T;~Guest }
9|4vnkqp0D[Guest if (target != null)
jy/o:lCJGuest try {浙江工商大学个人门户9` W#c(e%ZP(^
URL url = new URL(base, target);
P#H3W)j/?j4bqc)ZPGuest outlinks.add(new Outlink(url.toString(),linkText.toString().trim()));
Q1K*u u0ML|Guest } catch (MalformedURLException e) {
+Fj eg'X)QgGuest // don't care浙江工商大学个人门户F([s]JK%j6jOS
}
rtK|6u,Gp+Gc@'CGuest }
,l(y{4EVd`'u%jx LGuest }浙江工商大学个人门户|,s ~Z-v(vh{c0M ~
NodeList children = node.getChildNodes();
jSOA*_2qi7aGuest if ( children != null ) {
/U8@ YB6hwGuest int len = children.getLength();浙江工商大学个人门户 yhNI1K8l7Mx};gP
for ( int i = 0; i < len; i++ ) {
NCH0X)[6}QZGuest getOutlinks(base, outlinks, children.item(i));//递归遍历DOM树
*sv5skQgfmGuest }浙江工商大学个人门户g,oX"Z9EO"H
}
;c)/ n"l6N(xf4T#UGuest } 浙江工商大学个人门户YJ Uo2rC d
....浙江工商大学个人门户'mpjjc0qY0y/b't
}

注意,此处传递给解析过程parse的文档片段对象,必须是由org.w3c.dom.html.HTMLDocument类型的DOM文档对象创建,否则有异常。
#@0kM]6ZJFGuest
  HTMLConfiguration可以用于创建任何基于XNI解析器,可参考下例
package sample;

 

import org.apache.xerces.parsers.AbstractSAXParser;浙江工商大学个人门户zT+OL%z*ae
import org.cyberneko.html.HTMLConfiguration;

public class HTMLSAXParser extends AbstractSAXParser {
_Qo(A7xJ[Gil%}0^Guest public HTMLSAXParser() {
/r[k#cRTGuest super(new HTMLConfiguration());浙江工商大学个人门户:Vb+XY#gK/
}浙江工商大学个人门户bc`7P nt8Z8i
}
`Q9}.@iX*C2sSGuest

 

 

三、设置解析器参数

  为了更加精确的控制解析的动作,nekohtml提供了相应的设置函数。如下列:

// settings on HTMLConfiguration浙江工商大学个人门户G{'zoyk_f
org.apache.xerces.xni.parser.XMLParserConfiguration config =
-c4[4Q

  J. Andrew ClarkJava写了一系列的工具(Java APIs),NekoHTML是其中之一。
T!og"lj;QGuest  NekoHTML是一个简单地HTML扫描器和标签补偿器(tag balancer) ,使得程序能解析HTML文档并用标准的XML接口来访问其中的信息。这个解析器能投扫描HTML文件并“修正”许多作者(人或机器)在编写HTML文档过程中常犯的错误。NekoHTML能增补缺失的父元素、自动用结束标签关闭相应的元素,以及不匹配的内嵌元素标签。NekoHTML的开发使用了Xerces Native Interface (XNI),后者是Xerces2的实现基础。

  

一、运行要求

  从NekoHTML主页上下载nekohtml-latest.zip,目前版本是0.8.
*R'XfdG-P XqGuest  NekoHTML要求运行在java1.1或更高版本,Xerces-J 2.0或更高版本。(我在试用时,随便拿了个xerces的包来用,结果例如运行老时不能通过,折腾半天后才发现版本不够所致.:)
/g8U a$PgGuest  

二、使用NekoHTML

浙江工商大学个人门户9e-aX#F d0Lj$`
1、透明地创建HTML解析器
v~,R h0D)YzUBGuest  利用Xerces2.0为基础,应用程序通过JAXP实例化解析器对象时,可以透明地创建HTML解析器,此时只需要将NekoHTML的jar文件,在CLASSPATH中放在Xerces的jar文件之前即可。nekohtmlXni.jar中的META-INF/services/org.apache.xerces.xni.parser.XMLParserConfiguration文件会被Xerces的读取并取代标准的设置文件,此处org.apache.xerces.xni.parser.XMLParserConfiguration文件的内容就是一个字符串“org.cyberneko.html.HTMLConfiguration”。这种方法的好处是简单透明,缺点是影响了Xerces在其它情况下的使用。

 

2、便利的HTML解析器类
Y+c j}qB:K(uGuest  要想避免上述的问题,可以使用org.cyberneko.html.parsers包的DOM和SAX解析器类来创建解析器,这两个类都使用了HTMLConfiguration类。解析器一旦创建之后,就可以解析HTML文件,并用标准的XML接口来访问文件中的信息,就象面对的是一个XML文件一样。浙江工商大学个人门户gIO2Eb/c
  下面的代码是NekoHTML自带的例程,我改了一下,使其可以显示HTML文件内容,而不显示类的名字。

package sample;

 

import org.cyberneko.html.parsers.DOMParser;
5y2oT&_uzGuest import org.w3c.dom.Document;
7gP1zQRhh TcGuest import org.w3c.dom.Node;

public class TestHTMLDOM {
gN {T#K:FnFGuest public static void main(String[] argv) throws Exception {
wjCl&d:v%j/bGuest DOMParser parser = new DOMParser();
fTRz}"djT6W$fGuest for (int i = 0; i < argv.length; i++) {浙江工商大学个人门户 mK~"M:Dq
parser.parse(argv[i]);
/t0O,pb3]4nyGuest print(parser.getDocument(), "");浙江工商大学个人门户xr:jLl)p p;^
}
k/4F f JxhkGuest }
h"X5`Nt$EGuest public static void print(Node node, String indent) {
GEjLV9{'n+TGuest // System.out.println(indent+node.getClass().getName());浙江工商大学个人门户J5G%T2k8W5_F
if (node.getNodeValue() != null){浙江工商大学个人门户'd2~-y{T
if("".equals(node.getNodeValue().trim())){
n `;P.l6@4wGuest }else{
/M+ADhIW0IGuest System.out.print(indent);浙江工商大学个人门户)zF6Ft!nv,P
System.out.println(node.getNodeValue());
JD@akGuest }浙江工商大学个人门户N;j:b8e)F#}
}浙江工商大学个人门户3x4_2C)|3T

L A/hdF9}iGuest Node child = node.getFirstChild();浙江工商大学个人门户J.o9s;xEF
while (child != null) {浙江工商大学个人门户+Y.o.`/V'Pyg
print(child, indent+" ");
%v2C;h~#?q,mGuest child = child.getNextSibling();浙江工商大学个人门户B+v O5u+H4r
}
4^-['er2BVV qGuest }
2v'n9z3/$^Guest }浙江工商大学个人门户tpk|ip+E$}

编译运行如下:

cd $NEKOHTML_HOME 浙江工商大学个人门户 p)/ L6wfv
cp build_html.xml build.xml 浙江工商大学个人门户n] byS+M&o
ant
L2at:Ha1wGuestjava -cp nekohtml.jar;nekohtmlSamples.jar;xmlParserAPIs.jar;xercesImpl.jar sample.TestHTMLDOM test.html

浙江工商大学个人门户1?3sM)p_^&~+n v%/j
如果一切正常可以显示HTML的内容了。
M5s1Q`1ja[1mGuest3、文档片段解析浙江工商大学个人门户Yt,Q.mf
  除了DOM和SAX类,NekoHTML还提供了一个实验性质的DOMFragmentParser类,用以解析HTML文件的片段。我个人认为,由于浏览器的强大的容错能力,即使一个片段的HTML文件,也可以正确显示,由此也变相地造成了很多人不再关心的HTML的完整要求了。这个类,也许将是用的最多的。下面,看看nutch是如何使用nekoHTML的。

package net.nutch.fetcher;
Z8Hh [4@!a|Guest ...浙江工商大学个人门户~/&bC0wxT)q/3C
import org.cyberneko.html.parsers.*;
KNNu;RjGuest import org.xml.sax.*;浙江工商大学个人门户kj'c)Di/QNPp
import org.w3c.dom.*;
Gph/^ QJi `Guest import org.w3c.dom.html.*;浙江工商大学个人门户Oh#m;my)sC
import org.apache.html.dom.*;

 

/* A simple fetcher. */
p$zb9^eV }_ DGuest public class Fetcher {
*qNw2{ @d.UA ekGuest ....浙江工商大学个人门户b:N!/6`0Z&Qkha
private DOMFragmentParser parser = new DOMFragmentParser();浙江工商大学个人门户0H%Z)p4Cg
....
i|&| J3TfE_)EGuest private void handleFetch(URL url, FetchListEntry fle, Http.Response response)浙江工商大学个人门户xAi3XP;`Q _~
throws IOException, SAXException {浙江工商大学个人门户%^V(}dG+J5}}/7I

)]d#pV?r!JyVGuest //判断HTTP应答包的类型,只放过html文件浙江工商大学个人门户R`#] K4Nv
String contentType = response.getHeader("Content-Type");
*Fc5P4C(v Mh0`g4`Guest if (contentType != null && !contentType.startsWith("text/html"))浙江工商大学个人门户8Z+k0zp{
throw new IOException("Unknown content-type: " + contentType);浙江工商大学个人门户 Sc;AG(M Ahv
//创建文件片段对象
Kbr0T(k8C:T7X%tGuest DocumentFragment node = new HTMLDocumentImpl().createDocumentFragment();
-m%fz,p(Z}[fsGuest //解析HTML内容
t["E7rp1F!kGuest parser.parse(new InputSource(new ByteArrayInputStream(response.getContent())),node);
O~.X o[Guest //取得全部文本内容浙江工商大学个人门户4m|,yKs/S!w
StringBuffer sb = new StringBuffer();
'w&Ga:oPGuest getText(sb, node);
jR%?7VOXs%OcGuest String text = sb.toString();
,LS I.D)]]6zFGuest //取得标题信息浙江工商大学个人门户 d1dR6}Q^I
sb.setLength(0);
m U"vL|h'MGuest getTitle(sb, node);浙江工商大学个人门户#Q4z*y?#u4y+h3v
String title = sb.toString().trim();浙江工商大学个人门户a+rgU3p
//取得该页所有的出链浙江工商大学个人门户'Y6y9X |Au_
ArrayList l = new ArrayList();
Q5U)?:t6H7~Guest getOutlinks(url, l, node);浙江工商大学个人门户AZVp d

6dx1h+h)?+fGuest //显示结果,存储信息浙江工商大学个人门户.DYk9xjj^,^'n
Outlink[] outlinks = (Outlink[])l.toArray(new Outlink[l.size()]);浙江工商大学个人门户k$s3D"i9^!Z7e
LOG.fine("found " + outlinks.length + " outlinks in " + url);

outputPage(new FetcherOutput(fle, MD5Hash.digest(response.getContent()),
+w9U2^ l/iQ!UGuest true, title, outlinks),
NIz_UGuest new FetcherContent(response.getContent()),浙江工商大学个人门户RB0z)fmW+w
new FetcherText(text));
|;t2yVzp3SnSGuest }浙江工商大学个人门户T`~!{[!V{8j
private static void getText(StringBuffer sb, Node node) {
%F4tV.Y/p1G:wmGuest if (node.getNodeType() == Node.TEXT_NODE) {
W-^O[lCcGuest sb.append(node.getNodeValue());//取得结点值,即开始与结束标签之间的信息浙江工商大学个人门户 K(RUCS'g
}
o)A9a^/Guest NodeList children = node.getChildNodes();浙江工商大学个人门户7/"P;@4P^"}O&Kj
if ( children != null ) {浙江工商大学个人门户 ~*K QW1F(`7[]Y` S
int len = children.getLength();
-k H:UywUGuest for ( int i = 0; i < len; i++ ) {
P+~ dI(Nb8l w(kGuest getText(sb, children.item(i));//递归遍历DOM树
1y/P;D3B"[Guest }
t~R` s c-aGuest }
}9_$I X;xm K"xY8@BGuest }

private static boolean getTitle(StringBuffer sb, Node node) {
-w({AYtv+{8y XGuest if (node.getNodeType() == Node.ELEMENT_NODE) {
.nsxL0n1YGuest if ("title".equalsIgnoreCase(node.getNodeName())) {浙江工商大学个人门户R"cp.U }*S.Pi {)sx
getText(sb, node);
]Vl'V5sRGuest return true;
[ye%dB&o{Guest }
F4Ow&FHGuest }浙江工商大学个人门户e'sEq-R]
NodeList children = node.getChildNodes();浙江工商大学个人门户'al6LbM;BJ`x~
if (children != null) {
|9C5M[ P|aE"|Guest int len = children.getLength();
7op|6["|I;~IGuest for (int i = 0; i < len; i++) {
2^[uO+L|)M(W.`qJqtGuest if (getTitle(sb, children.item(i))) {浙江工商大学个人门户){2K"f6h'tF S
return true;浙江工商大学个人门户)a*lqiFY
}
*Us5}I^:/Guest }
sWiD#Q O1^Guest }浙江工商大学个人门户L7xo} HR
return false;浙江工商大学个人门户U8l*d|p:_
}

private static void getOutlinks(URL base, ArrayList outlinks, Node node) {浙江工商大学个人门户 b)nk,f6qr
if (node.getNodeType() == Node.ELEMENT_NODE) {
i /|K%@%s"q7oX/c/uGuest if ("a".equalsIgnoreCase(node.getNodeName())) {
UCH8Vc.l&lCB6SGuest StringBuffer linkText = new StringBuffer();浙江工商大学个人门户#V7hX] P5T/XuH
getText(linkText, node);

NamedNodeMap attrs = node.getAttributes();浙江工商大学个人门户,xi2~5X)YW]AY'v*e
String target= null;浙江工商大学个人门户%B%}'SL`B4Dc9CKM
for (int i= 0; i < attrs.getLength(); i++ ) {
'Fo5A4]5k/W qGuest if ("href".equalsIgnoreCase(attrs.item(i).getNodeName())) {浙江工商大学个人门户.]T^X$c(s{
target= attrs.item(i).getNodeValue();//在DOM树中,属性是一个结点。浙江工商大学个人门户)aU pO$I1/cDjU$Ey
break;浙江工商大学个人门户#Tu@[2d2w6nG3F`
}
e+fAv4i K(T;~Guest }
9|4vnkqp0D[Guest if (target != null)
jy/o:lCJGuest try {浙江工商大学个人门户9` W#c(e%ZP(^
URL url = new URL(base, target);
P#H3W)j/?j4bqc)ZPGuest outlinks.add(new Outlink(url.toString(),linkText.toString().trim()));
Q1K*u u0ML|Guest } catch (MalformedURLException e) {
+Fj eg'X)QgGuest // don't care浙江工商大学个人门户F([s]JK%j6jOS
}
rtK|6u,Gp+Gc@'CGuest }
,l(y{4EVd`'u%jx LGuest }浙江工商大学个人门户|,s ~Z-v(vh{c0M ~
NodeList children = node.getChildNodes();
jSOA*_2qi7aGuest if ( children != null ) {
/U8@ YB6hwGuest int len = children.getLength();浙江工商大学个人门户 yhNI1K8l7Mx};gP
for ( int i = 0; i < len; i++ ) {
NCH0X)[6}QZGuest getOutlinks(base, outlinks, children.item(i));//递归遍历DOM树
*sv5skQgfmGuest }浙江工商大学个人门户g,oX"Z9EO"H
}
;c)/ n"l6N(xf4T#UGuest } 浙江工商大学个人门户YJ Uo2rC d
....浙江工商大学个人门户'mpjjc0qY0y/b't
}

注意,此处传递给解析过程parse的文档片段对象,必须是由org.w3c.dom.html.HTMLDocument类型的DOM文档对象创建,否则有异常。
#@0kM]6ZJFGuest
  HTMLConfiguration可以用于创建任何基于XNI解析器,可参考下例
package sample;

 

import org.apache.xerces.parsers.AbstractSAXParser;浙江工商大学个人门户zT+OL%z*ae
import org.cyberneko.html.HTMLConfiguration;

public class HTMLSAXParser extends AbstractSAXParser {
_Qo(A7xJ[Gil%}0^Guest public HTMLSAXParser() {
/r[k#cRTGuest super(new HTMLConfiguration());浙江工商大学个人门户:Vb+XY#gK/
}浙江工商大学个人门户bc`7P nt8Z8i
}
`Q9}.@iX*C2sSGuest

 

 

三、设置解析器参数

  为了更加精确的控制解析的动作,nekohtml提供了相应的设置函数。如下列:

___FCKpd___3

浙江工商大学个人门户H]D8P-A]O8F ~
 

nekohtml功能(feature)列表
q)@)P/LO1RGuest
功能默认值描述
http://cyberneko.org/html/features/balance-tags True是否允许增补缺失的标签。如果要以XML方式操作HTML文件,此值必须为真。此处提供设置功能,为了性能的原因。
http://cyberneko.org/html/features/balance-tags/ignore-outside-content False是否忽略文档根元素以后的数据。如果为false,<html>和<bod>被忽略,所有的内容都被解析。
http://cyberneko.org/html/features/document-fragment False解析HTML片段时是否作标签增补。此功能不要用在DOMParser上,而要用在DOMFragmentParser上。
http://apache.org/xml/features/scanner/notify-char-refs False当遇到字符实体引用(如&#x20;)是否将(#x20)报告给相应地文档处理器。
http://apache.org/xml/features/scanner/notify-builtin-refs False当遇到XML内建的字符实体引用(如&amp;)是否将(amp)报告给相应地文档处理器。
http://cyberneko.org/html/features/scanner/notify-builtin-refs False当遇到HTML内建的字符实体引用(如&copy;)是否将(copy)报告给相应地文档处理器。
http://cyberneko.org/html/features/scanner/script/strip-comment-delims False是否剥掉<script>元素中的<!-- -->等注释符。
http://cyberneko.org/html/features/augmentations False是否将与HTML事件有关的infoset项包括在解析管道中。
http://cyberneko.org/html/features/report-errors False是否报告错误。

oO!Y{*zfDoGuest nekohtml属性列表
f/ZI wowckNGuest
属性默认值值域描述
http://cyberneko.org/html/properties/filters nullXMLDocumentFilter[] 在解析管道的最后按数组顺序追加自定义的处理组件(过滤器),必须为数组类型。
http://cyberneko.org/html/properties/default-encoding Windows-1252IANA encoding names默认的HTML文件编码
http://cyberneko.org/html/properties/names/elems upperupper,lower,match如果整理识别出的元素名称
http://cyberneko.org/html/properties/names/attrs lowerupper,lower,no-change如果整理识别出的属性名称

;l6?[-S%d(V]3t3{1@Guest

浙江工商大学个人门户N U2G6]MAz}3w
 

四、管道过滤器

浙江工商大学个人门户-q4e{k_eF#n N(u
  Xerces Native Interface (XNI)定义了一个解析器配置框架,在那儿一个个解析器以模块化组件的形式组成一个管道。这样一来,通过重新安排已有组件和/或新定制开发的组件,就可完成一个新的解析器配置工作。由于nekohtml是采用这个配置框架开发的,所以对解析器新增功能就很简单通过在默认的nekohtml解析管道的末端增加文档过滤器来实现。

 要新开发一个过滤器,很简单地实现xerces2的org.apache.xerces.xni.parser包中的XMLDocumentFilter接口即可。这个接口,一方面使组件成为管道中上一级的事件处理器,另一方面又成为下级的信息源。针对nekohtml的过滤器开发,只需简单地扩展org.cyberneko.html.filters包中的DefaultFilter类即可。
1T1kU0`eGuest  将自行开发的过滤器加入管道,可参考以下两种办法:
XMLDocumentFilter noop = new DefaultFilter();浙江工商大学个人门户$q$g$PtJ7H9_b(N
XMLDocumentFilter[] filters = { noop };

 

XMLParserConfiguration parser = new HTMLConfiguration();
+/ pt(Q:@w9Z4ctGuest parser.setProperty("http://cyberneko.org/html/properties/filters", filters);

浙江工商大学个人门户$F5A6_/` F+E
  nekohtml的org.cyberneko.html.filters 包中有DefaultFilter、浙江工商大学个人门户8[8BL)G^@%@7K
ElementRemover、Identity、Writer,能实现动态插入内容、删除元素、序列化HTML文档等,不详细述。


  DGuest
new org.cyberneko.html.HTMLConfiguration();浙江工商大学个人门户Ux2K }'Q9}~ m#VY
config.setFeature("http://cyberneko.org/html/features/augmentations", true);浙江工商大学个人门户#P4K&]s D^3s
config.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");

 

// settings on DOMParser
{L5eJ8L)?]/9nGuest org.cyberneko.html.parsers.DOMParser parser = 浙江工商大学个人门户*P1Xn8M;GE2A
new org.cyberneko.html.parsers.DOMParser();
+T:go9N Au:lGuest parser.setFeature("http://cyberneko.org/html/features/augmentations", true);浙江工商大学个人门户9D4qgt-H]q+U
parser.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");浙江工商大学个人门户 Z1sM:/Q8[ ]yz

浙江工商大学个人门户H]D8P-A]O8F ~
 

nekohtml功能(feature)列表
q)@)P/LO1RGuest
功能默认值描述
http://cyberneko.org/html/features/balance-tags True是否允许增补缺失的标签。如果要以XML方式操作HTML文件,此值必须为真。此处提供设置功能,为了性能的原因。
http://cyberneko.org/html/features/balance-tags/ignore-outside-content False是否忽略文档根元素以后的数据。如果为false,<html>和<bod>被忽略,所有的内容都被解析。
http://cyberneko.org/html/features/document-fragment False解析HTML片段时是否作标签增补。此功能不要用在DOMParser上,而要用在DOMFragmentParser上。
http://apache.org/xml/features/scanner/notify-char-refs False当遇到字符实体引用(如&#x20;)是否将(#x20)报告给相应地文档处理器。
http://apache.org/xml/features/scanner/notify-builtin-refs False当遇到XML内建的字符实体引用(如&amp;)是否将(amp)报告给相应地文档处理器。
http://cyberneko.org/html/features/scanner/notify-builtin-refs False当遇到HTML内建的字符实体引用(如&copy;)是否将(copy)报告给相应地文档处理器。
http://cyberneko.org/html/features/scanner/script/strip-comment-delims False是否剥掉<script>元素中的<!-- -->等注释符。
http://cyberneko.org/html/features/augmentations False是否将与HTML事件有关的infoset项包括在解析管道中。
http://cyberneko.org/html/features/report-errors False是否报告错误。

oO!Y{*zfDoGuest nekohtml属性列表
f/ZI wowckNGuest
属性默认值值域描述
http://cyberneko.org/html/properties/filters nullXMLDocumentFilter[] 在解析管道的最后按数组顺序追加自定义的处理组件(过滤器),必须为数组类型。
http://cyberneko.org/html/properties/default-encoding Windows-1252IANA encoding names默认的HTML文件编码
http://cyberneko.org/html/properties/names/elems upperupper,lower,match如果整理识别出的元素名称
http://cyberneko.org/html/properties/names/attrs lowerupper,lower,no-change如果整理识别出的属性名称

;l6?[-S%d(V]3t3{1@Guest

浙江工商大学个人门户N U2G6]MAz}3w
 

四、管道过滤器

浙江工商大学个人门户-q4e{k_eF#n N(u
  Xerces Native Interface (XNI)定义了一个解析器配置框架,在那儿一个个解析器以模块化组件的形式组成一个管道。这样一来,通过重新安排已有组件和/或新定制开发的组件,就可完成一个新的解析器配置工作。由于nekohtml是采用这个配置框架开发的,所以对解析器新增功能就很简单通过在默认的nekohtml解析管道的末端增加文档过滤器来实现。

 要新开发一个过滤器,很简单地实现xerces2的org.apache.xerces.xni.parser包中的XMLDocumentFilter接口即可。这个接口,一方面使组件成为管道中上一级的事件处理器,另一方面又成为下级的信息源。针对nekohtml的过滤器开发,只需简单地扩展org.cyberneko.html.filters包中的DefaultFilter类即可。
1T1kU0`eGuest  将自行开发的过滤器加入管道,可参考以下两种办法:
___FCKpd___4

浙江工商大学个人门户$F5A6_/` F+E
  nekohtml的org.cyberneko.html.filters 包中有DefaultFilter、浙江工商大学个人门户8[8BL)G^@%@7K
ElementRemover、Identity、Writer,能实现动态插入内容、删除元素、序列化HTML文档等,不详细述。


 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值