NekoHTML读书笔记

最新推荐文章于 2017-08-23 16:34:20 发布

daoquan

最新推荐文章于 2017-08-23 16:34:20 发布

阅读量2.6k

点赞数

分类专栏： JAVA/J2EE XML/DB 文章标签： html解析器 html import 文档 null string

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/daoquan/article/details/1487127

版权

JAVA/J2EE 同时被 2 个专栏收录

93 篇文章 0 订阅

订阅专栏

16 篇文章 0 订阅

订阅专栏

　　J. Andrew Clark用Java写了一系列的工具(Java APIs)，NekoHTML是其中之一。
T!og"lj;QGuest　　NekoHTML是一个简单地HTML扫描器和标签补偿器(tag balancer) ,使得程序能解析HTML文档并用标准的XML接口来访问其中的信息。这个解析器能投扫描HTML文件并“修正”许多作者（人或机器）在编写HTML文档过程中常犯的错误。NekoHTML能增补缺失的父元素、自动用结束标签关闭相应的元素，以及不匹配的内嵌元素标签。NekoHTML的开发使用了Xerces Native Interface (XNI)，后者是Xerces2的实现基础。

　　

一、运行要求

　　从NekoHTML主页上下载nekohtml-latest.zip，目前版本是0.8.
*R'XfdG-P XqGuest　　NekoHTML要求运行在java1.1或更高版本，Xerces-J 2.0或更高版本。（我在试用时，随便拿了个xerces的包来用，结果例如运行老时不能通过，折腾半天后才发现版本不够所致.:)
/g8U a$PgGuest　　

二、使用NekoHTML

1、透明地创建HTML解析器
v~,R h0D)YzUBGuest　　利用Xerces2.0为基础，应用程序通过JAXP实例化解析器对象时，可以透明地创建HTML解析器，此时只需要将NekoHTML的jar文件，在CLASSPATH中放在Xerces的jar文件之前即可。nekohtmlXni.jar中的META-INF/services/org.apache.xerces.xni.parser.XMLParserConfiguration文件会被Xerces的读取并取代标准的设置文件，此处org.apache.xerces.xni.parser.XMLParserConfiguration文件的内容就是一个字符串“org.cyberneko.html.HTMLConfiguration”。这种方法的好处是简单透明，缺点是影响了Xerces在其它情况下的使用。

2、便利的HTML解析器类
Y+c j}qB:K(uGuest　　要想避免上述的问题，可以使用org.cyberneko.html.parsers包的DOM和SAX解析器类来创建解析器，这两个类都使用了HTMLConfiguration类。解析器一旦创建之后，就可以解析HTML文件，并用标准的XML接口来访问文件中的信息，就象面对的是一个XML文件一样。浙江工商大学个人门户gIO2Eb/c
　　下面的代码是NekoHTML自带的例程，我改了一下，使其可以显示HTML文件内容，而不显示类的名字。

package sample; 

import org.cyberneko.html.parsers.DOMParser;
5y2oT&_uzGuest
import org.w3c.dom.Document;
7gP1zQRhh
TcGuest
import org.w3c.dom.Node;

public class TestHTMLDOM {
gN
{T#K:FnFGuest
    public static void main(String[] argv) throws Exception {
wjCl&d:v%j/bGuest
        DOMParser parser = new DOMParser();
fTRz}"djT6W$fGuest
        for (int i = 0; i < argv.length; i++) {浙江工商大学个人门户	mK~"M:Dq

            parser.parse(argv[i]);
/t0O,pb3]4nyGuest
            print(parser.getDocument(), "");浙江工商大学个人门户xr:jLl)p
p;^

        }
k/4F f
JxhkGuest
    }
h"X5`Nt$EGuest
    public static void print(Node node, String indent) {
GEjLV9{'n+TGuest
//        System.out.println(indent+node.getClass().getName());浙江工商大学个人门户J5G%T2k8W5_F

        if (node.getNodeValue() != null){浙江工商大学个人门户'd2~-y{T

            if("".equals(node.getNodeValue().trim())){
n
`;P.l6@4wGuest
            }else{
/M+ADhIW0IGuest
            System.out.print(indent);浙江工商大学个人门户)zF6Ft!nv,P

            System.out.println(node.getNodeValue());
JD@akGuest
        	}浙江工商大学个人门户N;j:b8e)F#}

        }浙江工商大学个人门户3x4_2C)|3T

        
L
A/hdF9}iGuest
        Node child = node.getFirstChild();浙江工商大学个人门户J.o9s;xEF

        while (child != null) {浙江工商大学个人门户+Y.o.`/V'Pyg

            print(child, indent+" ");
%v2C;h~#?q,mGuest
            child = child.getNextSibling();浙江工商大学个人门户B+v
O5u+H4r

        }
4^-['er2BVV
qGuest
    }
2v'n9z3/$^Guest
}浙江工商大学个人门户tpk|ip+E$}

编译运行如下：

cd $NEKOHTML_HOME
cp build_html.xml build.xml
ant
java -cp nekohtml.jar;nekohtmlSamples.jar;xmlParserAPIs.jar;xercesImpl.jar sample.TestHTMLDOM test.html

如果一切正常可以显示HTML的内容了。
M5s1Q`1ja[1mGuest3、文档片段解析浙江工商大学个人门户Yt,Q.mf
　　除了DOM和SAX类，NekoHTML还提供了一个实验性质的DOMFragmentParser类，用以解析HTML文件的片段。我个人认为，由于浏览器的强大的容错能力，即使一个片段的HTML文件，也可以正确显示，由此也变相地造成了很多人不再关心的HTML的完整要求了。这个类，也许将是用的最多的。下面，看看nutch是如何使用nekoHTML的。

package net.nutch.fetcher;

Z8Hh
[4@!a|Guest
...浙江工商大学个人门户~/&bC0wxT)q/3C

import org.cyberneko.html.parsers.*;
KNNu;RjGuest
import org.xml.sax.*;浙江工商大学个人门户kj'c)Di/QNPp

import org.w3c.dom.*;
Gph/^
QJi
`Guest
import org.w3c.dom.html.*;浙江工商大学个人门户Oh#m;my)sC

import org.apache.html.dom.*; 

/* A simple fetcher. */
p$zb9^eV	}_
DGuest
public class Fetcher { 
*qNw2{
@d.UA	ekGuest
	....浙江工商大学个人门户b:N!/6`0Z&Qkha

    private DOMFragmentParser parser = new DOMFragmentParser();浙江工商大学个人门户0H%Z)p4Cg

	....
i|&|
J3TfE_)EGuest
    private void handleFetch(URL url, FetchListEntry fle, Http.Response response)浙江工商大学个人门户xAi3XP;`Q
_~

      throws IOException, SAXException {浙江工商大学个人门户%^V(}dG+J5}}/7I

      
)]d#pV?r!JyVGuest
      //判断HTTP应答包的类型，只放过html文件浙江工商大学个人门户R`#] K4Nv

      String contentType = response.getHeader("Content-Type");
*Fc5P4C(v
Mh0`g4`Guest
      if (contentType != null && !contentType.startsWith("text/html"))浙江工商大学个人门户8Z+k0zp{

        throw new IOException("Unknown content-type: " + contentType);浙江工商大学个人门户	Sc;AG(M	Ahv

      //创建文件片段对象
Kbr0T(k8C:T7X%tGuest
      DocumentFragment node = new HTMLDocumentImpl().createDocumentFragment();
-m%fz,p(Z}[fsGuest
      //解析HTML内容
t["E7rp1F!kGuest
      parser.parse(new InputSource(new ByteArrayInputStream(response.getContent())),node);
O~.X	o[Guest
      //取得全部文本内容浙江工商大学个人门户4m|,yKs/S!w

      StringBuffer sb = new StringBuffer();
'w&Ga:oPGuest
      getText(sb, node);
 jR%?7VOXs%OcGuest
      String text = sb.toString();
,LS	I.D)]]6zFGuest
      //取得标题信息浙江工商大学个人门户	d1dR6}Q^I

      sb.setLength(0);
 m U"vL|h'MGuest
      getTitle(sb, node);浙江工商大学个人门户#Q4z*y?#u4y+h3v

      String title = sb.toString().trim();浙江工商大学个人门户a+rgU3p

      //取得该页所有的出链浙江工商大学个人门户'Y6y9X	|Au_

      ArrayList l = new ArrayList();
Q5U)?:t6H7~Guest
      getOutlinks(url, l, node);浙江工商大学个人门户AZVp
d

      
6dx1h+h)?+fGuest
      //显示结果，存储信息浙江工商大学个人门户.DYk9xjj^,^'n

      Outlink[] outlinks = (Outlink[])l.toArray(new Outlink[l.size()]);浙江工商大学个人门户k$s3D"i9^!Z7e

      LOG.fine("found " + outlinks.length + " outlinks in " + url);

      outputPage(new FetcherOutput(fle, MD5Hash.digest(response.getContent()),
+w9U2^
l/iQ!UGuest
                                   true, title, outlinks),
NIz_UGuest
                 new FetcherContent(response.getContent()),浙江工商大学个人门户RB0z)fmW+w

                 new FetcherText(text));
|;t2yVzp3SnSGuest
    }浙江工商大学个人门户T`~!{[!V{8j

  private static void getText(StringBuffer sb, Node node) {
%F4tV.Y/p1G:wmGuest
    if (node.getNodeType() == Node.TEXT_NODE) {
W-^O[lCcGuest
      sb.append(node.getNodeValue());//取得结点值，即开始与结束标签之间的信息浙江工商大学个人门户	K(RUCS'g

    }
o)A9a^/Guest
    NodeList children = node.getChildNodes();浙江工商大学个人门户7/"P;@4P^"}O&Kj

    if ( children != null ) {浙江工商大学个人门户
~*K	QW1F(`7[]Y`
S

      int len = children.getLength();
-k	H:UywUGuest
      for ( int i = 0; i < len; i++ ) {
P+~	dI(Nb8l w(kGuest
        getText(sb, children.item(i));//递归遍历DOM树
1y/P;D3B"[Guest
      }
t~R`
s c-aGuest
    }

}9_$I	X;xm
K"xY8@BGuest
  }

  private static boolean getTitle(StringBuffer sb, Node node) {
-w({AYtv+{8y	XGuest
    if (node.getNodeType() == Node.ELEMENT_NODE) {
.nsxL0n1YGuest
      if ("title".equalsIgnoreCase(node.getNodeName())) {浙江工商大学个人门户R"cp.U }*S.Pi {)sx

        getText(sb, node);
]Vl'V5sRGuest
        return true;
[ye%dB&o{Guest
      }
F4Ow&FHGuest
    }浙江工商大学个人门户e'sEq-R]

    NodeList children = node.getChildNodes();浙江工商大学个人门户'al6LbM;BJ`x~

    if (children != null) {
|9C5M[
P|aE"|Guest
      int len = children.getLength();
7op|6["|I;~IGuest
      for (int i = 0; i < len; i++) {
2^[uO+L|)M(W.`qJqtGuest
        if (getTitle(sb, children.item(i))) {浙江工商大学个人门户){2K"f6h'tF S

          return true;浙江工商大学个人门户)a*lqiFY

        }
*Us5}I^:/Guest
      }
sWiD#Q	O1^Guest
    }浙江工商大学个人门户L7xo} HR

    return false;浙江工商大学个人门户U8l*d|p:_

  }

  private static void getOutlinks(URL base, ArrayList outlinks, Node node) {浙江工商大学个人门户	b)nk,f6qr

    if (node.getNodeType() == Node.ELEMENT_NODE) {
i
/|K%@%s"q7oX/c/uGuest
      if ("a".equalsIgnoreCase(node.getNodeName())) {
UCH8Vc.l&lCB6SGuest
        StringBuffer linkText = new StringBuffer();浙江工商大学个人门户#V7hX]
P5T/XuH

        getText(linkText, node);

        NamedNodeMap attrs = node.getAttributes();浙江工商大学个人门户,xi2~5X)YW]AY'v*e

        String target= null;浙江工商大学个人门户%B%}'SL`B4Dc9CKM

        for (int i= 0; i < attrs.getLength(); i++ ) {
'Fo5A4]5k/W	qGuest
          if ("href".equalsIgnoreCase(attrs.item(i).getNodeName())) {浙江工商大学个人门户.]T^X$c(s{

            target= attrs.item(i).getNodeValue();//在DOM树中，属性是一个结点。浙江工商大学个人门户)aU pO$I1/cDjU$Ey

            break;浙江工商大学个人门户#Tu@[2d2w6nG3F`

          }
 e+fAv4i
K(T;~Guest
        }
9|4vnkqp0D[Guest
        if (target != null)
jy/o:lCJGuest
          try {浙江工商大学个人门户9`	W#c(e%ZP(^

            URL url = new URL(base, target);
	P#H3W)j/?j4bqc)ZPGuest
            outlinks.add(new Outlink(url.toString(),linkText.toString().trim()));
Q1K*u
u0ML|Guest
          } catch (MalformedURLException e) {
+Fj	eg'X)QgGuest
            // don't care浙江工商大学个人门户F([s]JK%j6jOS

          }
rtK|6u,Gp+Gc@'CGuest
      }
,l(y{4EVd`'u%jx
LGuest
    }浙江工商大学个人门户|,s	~Z-v(vh{c0M
~

    NodeList children = node.getChildNodes();
 jSOA*_2qi7aGuest
    if ( children != null ) {
/U8@
YB6hwGuest
      int len = children.getLength();浙江工商大学个人门户	yhNI1K8l7Mx};gP

      for ( int i = 0; i < len; i++ ) {

NCH0X)[6}QZGuest
        getOutlinks(base, outlinks, children.item(i));//递归遍历DOM树
*sv5skQgfmGuest
      }浙江工商大学个人门户g,oX"Z9EO"H

    }
;c)/	n"l6N(xf4T#UGuest
  }	浙江工商大学个人门户YJ
Uo2rC
d

  ....浙江工商大学个人门户'mpjjc0qY0y/b't

}

注意，此处传递给解析过程parse的文档片段对象，必须是由org.w3c.dom.html.HTMLDocument类型的DOM文档对象创建，否则有异常。
　　HTMLConfiguration可以用于创建任何基于XNI解析器，可参考下例

package sample; 

import org.apache.xerces.parsers.AbstractSAXParser;浙江工商大学个人门户zT+OL%z*ae

import org.cyberneko.html.HTMLConfiguration;

public class HTMLSAXParser extends AbstractSAXParser {
_Qo(A7xJ[Gil%}0^Guest
    public HTMLSAXParser() {
/r[k#cRTGuest
        super(new HTMLConfiguration());浙江工商大学个人门户:Vb+XY#gK/

    }浙江工商大学个人门户bc`7P
nt8Z8i

}
	`Q9}.@iX*C2sSGuest

三、设置解析器参数

　　为了更加精确的控制解析的动作，nekohtml提供了相应的设置函数。如下列：

// settings on HTMLConfiguration浙江工商大学个人门户G{'zoyk_f

org.apache.xerces.xni.parser.XMLParserConfiguration config =
-c4[4Q　　J. Andrew Clark用Java写了一系列的工具(Java APIs)，NekoHTML是其中之一。
T!og"lj;QGuest　　NekoHTML是一个简单地HTML扫描器和标签补偿器(tag balancer) ,使得程序能解析HTML文档并用标准的XML接口来访问其中的信息。这个解析器能投扫描HTML文件并“修正”许多作者（人或机器）在编写HTML文档过程中常犯的错误。NekoHTML能增补缺失的父元素、自动用结束标签关闭相应的元素，以及不匹配的内嵌元素标签。NekoHTML的开发使用了Xerces Native Interface (XNI)，后者是Xerces2的实现基础。

　　 
一、运行要求
　　从NekoHTML主页上下载nekohtml-latest.zip，目前版本是0.8.
*R'XfdG-P XqGuest　　NekoHTML要求运行在java1.1或更高版本，Xerces-J 2.0或更高版本。（我在试用时，随便拿了个xerces的包来用，结果例如运行老时不能通过，折腾半天后才发现版本不够所致.:)
/g8U a$PgGuest　　 
二、使用NekoHTML
浙江工商大学个人门户9e-aX#F d0Lj$`
1、透明地创建HTML解析器
v~,R h0D)YzUBGuest　　利用Xerces2.0为基础，应用程序通过JAXP实例化解析器对象时，可以透明地创建HTML解析器，此时只需要将NekoHTML的jar文件，在CLASSPATH中放在Xerces的jar文件之前即可。nekohtmlXni.jar中的META-INF/services/org.apache.xerces.xni.parser.XMLParserConfiguration文件会被Xerces的读取并取代标准的设置文件，此处org.apache.xerces.xni.parser.XMLParserConfiguration文件的内容就是一个字符串“org.cyberneko.html.HTMLConfiguration”。这种方法的好处是简单透明，缺点是影响了Xerces在其它情况下的使用。 
 
2、便利的HTML解析器类
Y+c j}qB:K(uGuest　　要想避免上述的问题，可以使用org.cyberneko.html.parsers包的DOM和SAX解析器类来创建解析器，这两个类都使用了HTMLConfiguration类。解析器一旦创建之后，就可以解析HTML文件，并用标准的XML接口来访问文件中的信息，就象面对的是一个XML文件一样。浙江工商大学个人门户gIO2Eb/c
　　下面的代码是NekoHTML自带的例程，我改了一下，使其可以显示HTML文件内容，而不显示类的名字。 

   
   

    
    package sample; 

import org.cyberneko.html.parsers.DOMParser;
5y2oT&_uzGuest
import org.w3c.dom.Document;
7gP1zQRhh
TcGuest
import org.w3c.dom.Node;

public class TestHTMLDOM {
gN
{T#K:FnFGuest
    public static void main(String[] argv) throws Exception {
wjCl&d:v%j/bGuest
        DOMParser parser = new DOMParser();
fTRz}"djT6W$fGuest
        for (int i = 0; i < argv.length; i++) {浙江工商大学个人门户	mK~"M:Dq

            parser.parse(argv[i]);
/t0O,pb3]4nyGuest
            print(parser.getDocument(), "");浙江工商大学个人门户xr:jLl)p
p;^

        }
k/4F f
JxhkGuest
    }
h"X5`Nt$EGuest
    public static void print(Node node, String indent) {
GEjLV9{'n+TGuest
//        System.out.println(indent+node.getClass().getName());浙江工商大学个人门户J5G%T2k8W5_F

        if (node.getNodeValue() != null){浙江工商大学个人门户'd2~-y{T

            if("".equals(node.getNodeValue().trim())){
n
`;P.l6@4wGuest
            }else{
/M+ADhIW0IGuest
            System.out.print(indent);浙江工商大学个人门户)zF6Ft!nv,P

            System.out.println(node.getNodeValue());
JD@akGuest
        	}浙江工商大学个人门户N;j:b8e)F#}

        }浙江工商大学个人门户3x4_2C)|3T

        
L
A/hdF9}iGuest
        Node child = node.getFirstChild();浙江工商大学个人门户J.o9s;xEF

        while (child != null) {浙江工商大学个人门户+Y.o.`/V'Pyg

            print(child, indent+" ");
%v2C;h~#?q,mGuest
            child = child.getNextSibling();浙江工商大学个人门户B+v
O5u+H4r

        }
4^-['er2BVV
qGuest
    }
2v'n9z3/$^Guest
}浙江工商大学个人门户tpk|ip+E$}



   
   
编译运行如下： 

   
   
    
    cd $NEKOHTML_HOME
    
    浙江工商大学个人门户 p)/ L6wfv
    
    
cp build_html.xml build.xml
    
    浙江工商大学个人门户n] byS+M&o
    
    
ant
    
    

    
    L2at:Ha1wGuestjava -cp nekohtml.jar;nekohtmlSamples.jar;xmlParserAPIs.jar;xercesImpl.jar sample.TestHTMLDOM test.html
   
   
浙江工商大学个人门户1?3sM)p_^&~+n v%/j
如果一切正常可以显示HTML的内容了。
M5s1Q`1ja[1mGuest3、文档片段解析浙江工商大学个人门户Yt,Q.mf
　　除了DOM和SAX类，NekoHTML还提供了一个实验性质的DOMFragmentParser类，用以解析HTML文件的片段。我个人认为，由于浏览器的强大的容错能力，即使一个片段的HTML文件，也可以正确显示，由此也变相地造成了很多人不再关心的HTML的完整要求了。这个类，也许将是用的最多的。下面，看看nutch是如何使用nekoHTML的。 
package net.nutch.fetcher;

Z8Hh
[4@!a|Guest
...浙江工商大学个人门户~/&bC0wxT)q/3C

import org.cyberneko.html.parsers.*;
KNNu;RjGuest
import org.xml.sax.*;浙江工商大学个人门户kj'c)Di/QNPp

import org.w3c.dom.*;
Gph/^
QJi
`Guest
import org.w3c.dom.html.*;浙江工商大学个人门户Oh#m;my)sC

import org.apache.html.dom.*; 

/* A simple fetcher. */
p$zb9^eV	}_
DGuest
public class Fetcher { 
*qNw2{
@d.UA	ekGuest
	....浙江工商大学个人门户b:N!/6`0Z&Qkha

    private DOMFragmentParser parser = new DOMFragmentParser();浙江工商大学个人门户0H%Z)p4Cg

	....
i|&|
J3TfE_)EGuest
    private void handleFetch(URL url, FetchListEntry fle, Http.Response response)浙江工商大学个人门户xAi3XP;`Q
_~

      throws IOException, SAXException {浙江工商大学个人门户%^V(}dG+J5}}/7I

      
)]d#pV?r!JyVGuest
      //判断HTTP应答包的类型，只放过html文件浙江工商大学个人门户R`#] K4Nv

      String contentType = response.getHeader("Content-Type");
*Fc5P4C(v
Mh0`g4`Guest
      if (contentType != null && !contentType.startsWith("text/html"))浙江工商大学个人门户8Z+k0zp{

        throw new IOException("Unknown content-type: " + contentType);浙江工商大学个人门户	Sc;AG(M	Ahv

      //创建文件片段对象
Kbr0T(k8C:T7X%tGuest
      DocumentFragment node = new HTMLDocumentImpl().createDocumentFragment();
-m%fz,p(Z}[fsGuest
      //解析HTML内容
t["E7rp1F!kGuest
      parser.parse(new InputSource(new ByteArrayInputStream(response.getContent())),node);
O~.X	o[Guest
      //取得全部文本内容浙江工商大学个人门户4m|,yKs/S!w

      StringBuffer sb = new StringBuffer();
'w&Ga:oPGuest
      getText(sb, node);
 jR%?7VOXs%OcGuest
      String text = sb.toString();
,LS	I.D)]]6zFGuest
      //取得标题信息浙江工商大学个人门户	d1dR6}Q^I

      sb.setLength(0);
 m U"vL|h'MGuest
      getTitle(sb, node);浙江工商大学个人门户#Q4z*y?#u4y+h3v

      String title = sb.toString().trim();浙江工商大学个人门户a+rgU3p

      //取得该页所有的出链浙江工商大学个人门户'Y6y9X	|Au_

      ArrayList l = new ArrayList();
Q5U)?:t6H7~Guest
      getOutlinks(url, l, node);浙江工商大学个人门户AZVp
d

      
6dx1h+h)?+fGuest
      //显示结果，存储信息浙江工商大学个人门户.DYk9xjj^,^'n

      Outlink[] outlinks = (Outlink[])l.toArray(new Outlink[l.size()]);浙江工商大学个人门户k$s3D"i9^!Z7e

      LOG.fine("found " + outlinks.length + " outlinks in " + url);

      outputPage(new FetcherOutput(fle, MD5Hash.digest(response.getContent()),
+w9U2^
l/iQ!UGuest
                                   true, title, outlinks),
NIz_UGuest
                 new FetcherContent(response.getContent()),浙江工商大学个人门户RB0z)fmW+w

                 new FetcherText(text));
|;t2yVzp3SnSGuest
    }浙江工商大学个人门户T`~!{[!V{8j

  private static void getText(StringBuffer sb, Node node) {
%F4tV.Y/p1G:wmGuest
    if (node.getNodeType() == Node.TEXT_NODE) {
W-^O[lCcGuest
      sb.append(node.getNodeValue());//取得结点值，即开始与结束标签之间的信息浙江工商大学个人门户	K(RUCS'g

    }
o)A9a^/Guest
    NodeList children = node.getChildNodes();浙江工商大学个人门户7/"P;@4P^"}O&Kj

    if ( children != null ) {浙江工商大学个人门户
~*K	QW1F(`7[]Y`
S

      int len = children.getLength();
-k	H:UywUGuest
      for ( int i = 0; i < len; i++ ) {
P+~	dI(Nb8l w(kGuest
        getText(sb, children.item(i));//递归遍历DOM树
1y/P;D3B"[Guest
      }
t~R`
s c-aGuest
    }

}9_$I	X;xm
K"xY8@BGuest
  }

  private static boolean getTitle(StringBuffer sb, Node node) {
-w({AYtv+{8y	XGuest
    if (node.getNodeType() == Node.ELEMENT_NODE) {
.nsxL0n1YGuest
      if ("title".equalsIgnoreCase(node.getNodeName())) {浙江工商大学个人门户R"cp.U }*S.Pi {)sx

        getText(sb, node);
]Vl'V5sRGuest
        return true;
[ye%dB&o{Guest
      }
F4Ow&FHGuest
    }浙江工商大学个人门户e'sEq-R]

    NodeList children = node.getChildNodes();浙江工商大学个人门户'al6LbM;BJ`x~

    if (children != null) {
|9C5M[
P|aE"|Guest
      int len = children.getLength();
7op|6["|I;~IGuest
      for (int i = 0; i < len; i++) {
2^[uO+L|)M(W.`qJqtGuest
        if (getTitle(sb, children.item(i))) {浙江工商大学个人门户){2K"f6h'tF S

          return true;浙江工商大学个人门户)a*lqiFY

        }
*Us5}I^:/Guest
      }
sWiD#Q	O1^Guest
    }浙江工商大学个人门户L7xo} HR

    return false;浙江工商大学个人门户U8l*d|p:_

  }

  private static void getOutlinks(URL base, ArrayList outlinks, Node node) {浙江工商大学个人门户	b)nk,f6qr

    if (node.getNodeType() == Node.ELEMENT_NODE) {
i
/|K%@%s"q7oX/c/uGuest
      if ("a".equalsIgnoreCase(node.getNodeName())) {
UCH8Vc.l&lCB6SGuest
        StringBuffer linkText = new StringBuffer();浙江工商大学个人门户#V7hX]
P5T/XuH

        getText(linkText, node);

        NamedNodeMap attrs = node.getAttributes();浙江工商大学个人门户,xi2~5X)YW]AY'v*e

        String target= null;浙江工商大学个人门户%B%}'SL`B4Dc9CKM

        for (int i= 0; i < attrs.getLength(); i++ ) {
'Fo5A4]5k/W	qGuest
          if ("href".equalsIgnoreCase(attrs.item(i).getNodeName())) {浙江工商大学个人门户.]T^X$c(s{

            target= attrs.item(i).getNodeValue();//在DOM树中，属性是一个结点。浙江工商大学个人门户)aU pO$I1/cDjU$Ey

            break;浙江工商大学个人门户#Tu@[2d2w6nG3F`

          }
 e+fAv4i
K(T;~Guest
        }
9|4vnkqp0D[Guest
        if (target != null)
jy/o:lCJGuest
          try {浙江工商大学个人门户9`	W#c(e%ZP(^

            URL url = new URL(base, target);
	P#H3W)j/?j4bqc)ZPGuest
            outlinks.add(new Outlink(url.toString(),linkText.toString().trim()));
Q1K*u
u0ML|Guest
          } catch (MalformedURLException e) {
+Fj	eg'X)QgGuest
            // don't care浙江工商大学个人门户F([s]JK%j6jOS

          }
rtK|6u,Gp+Gc@'CGuest
      }
,l(y{4EVd`'u%jx
LGuest
    }浙江工商大学个人门户|,s	~Z-v(vh{c0M
~

    NodeList children = node.getChildNodes();
 jSOA*_2qi7aGuest
    if ( children != null ) {
/U8@
YB6hwGuest
      int len = children.getLength();浙江工商大学个人门户	yhNI1K8l7Mx};gP

      for ( int i = 0; i < len; i++ ) {

NCH0X)[6}QZGuest
        getOutlinks(base, outlinks, children.item(i));//递归遍历DOM树
*sv5skQgfmGuest
      }浙江工商大学个人门户g,oX"Z9EO"H

    }
;c)/	n"l6N(xf4T#UGuest
  }	浙江工商大学个人门户YJ
Uo2rC
d

  ....浙江工商大学个人门户'mpjjc0qY0y/b't

}
注意，此处传递给解析过程parse的文档片段对象，必须是由org.w3c.dom.html.HTMLDocument类型的DOM文档对象创建，否则有异常。
#@0kM]6ZJFGuest　　HTMLConfiguration可以用于创建任何基于XNI解析器，可参考下例

   
   

    
    package sample; 

import org.apache.xerces.parsers.AbstractSAXParser;浙江工商大学个人门户zT+OL%z*ae

import org.cyberneko.html.HTMLConfiguration;

public class HTMLSAXParser extends AbstractSAXParser {
_Qo(A7xJ[Gil%}0^Guest
    public HTMLSAXParser() {
/r[k#cRTGuest
        super(new HTMLConfiguration());浙江工商大学个人门户:Vb+XY#gK/

    }浙江工商大学个人门户bc`7P
nt8Z8i

}
	`Q9}.@iX*C2sSGuest


   
   
 
 
三、设置解析器参数
　　为了更加精确的控制解析的动作，nekohtml提供了相应的设置函数。如下列： 

   
   

    
    ___FCKpd___3

   
   
浙江工商大学个人门户H]D8P-A]O8F ~
 

   
   
    
    nekohtml功能(feature)列表
    
    

    
    q)@)P/LO1RGuest

    
    功能 默认值 描述
http://cyberneko.org/html/features/balance-tags True 是否允许增补缺失的标签。如果要以XML方式操作HTML文件，此值必须为真。此处提供设置功能，为了性能的原因。
http://cyberneko.org/html/features/balance-tags/ignore-outside-content False 是否忽略文档根元素以后的数据。如果为false，<html>和<bod>被忽略，所有的内容都被解析。
http://cyberneko.org/html/features/document-fragment False 解析HTML片段时是否作标签增补。此功能不要用在DOMParser上，而要用在DOMFragmentParser上。
http://apache.org/xml/features/scanner/notify-char-refs False 当遇到字符实体引用（如＆#x20;）是否将(#x20)报告给相应地文档处理器。
http://apache.org/xml/features/scanner/notify-builtin-refs False 当遇到XML内建的字符实体引用（如＆amp;）是否将(amp)报告给相应地文档处理器。
http://cyberneko.org/html/features/scanner/notify-builtin-refs False 当遇到HTML内建的字符实体引用（如＆copy;）是否将(copy)报告给相应地文档处理器。
http://cyberneko.org/html/features/scanner/script/strip-comment-delims False 是否剥掉<script>元素中的<!-- -->等注释符。
http://cyberneko.org/html/features/augmentations False 是否将与HTML事件有关的infoset项包括在解析管道中。
http://cyberneko.org/html/features/report-errors False 是否报告错误。

    
    

    
    oO!Y{*zfDoGuest
    
    nekohtml属性列表
    
    

    
    f/ZI wowckNGuest

    
    属性 默认值 值域 描述
http://cyberneko.org/html/properties/filters null XMLDocumentFilter[] 在解析管道的最后按数组顺序追加自定义的处理组件（过滤器），必须为数组类型。
http://cyberneko.org/html/properties/default-encoding Windows-1252 IANA encoding names 默认的HTML文件编码
http://cyberneko.org/html/properties/names/elems upper upper,lower,match 如果整理识别出的元素名称
http://cyberneko.org/html/properties/names/attrs lower upper,lower,no-change 如果整理识别出的属性名称

    
    

    
    ;l6?[-S%d(V]3t3{1@Guest
   
   
浙江工商大学个人门户N U2G6]MAz}3w
 
四、管道过滤器
浙江工商大学个人门户-q4e{k_eF#n N(u
　　Xerces Native Interface (XNI)定义了一个解析器配置框架，在那儿一个个解析器以模块化组件的形式组成一个管道。这样一来，通过重新安排已有组件和/或新定制开发的组件，就可完成一个新的解析器配置工作。由于nekohtml是采用这个配置框架开发的，所以对解析器新增功能就很简单通过在默认的nekohtml解析管道的末端增加文档过滤器来实现。
　要新开发一个过滤器，很简单地实现xerces2的org.apache.xerces.xni.parser包中的XMLDocumentFilter接口即可。这个接口，一方面使组件成为管道中上一级的事件处理器，另一方面又成为下级的信息源。针对nekohtml的过滤器开发，只需简单地扩展org.cyberneko.html.filters包中的DefaultFilter类即可。
1T1kU0`eGuest　　将自行开发的过滤器加入管道，可参考以下两种办法：

   
   

    
    XMLDocumentFilter noop = new DefaultFilter();浙江工商大学个人门户$q$g$PtJ7H9_b(N

XMLDocumentFilter[] filters = { noop }; 

XMLParserConfiguration parser = new HTMLConfiguration();
+/
pt(Q:@w9Z4ctGuest
parser.setProperty("http://cyberneko.org/html/properties/filters", filters);

   
   
浙江工商大学个人门户$F5A6_/` F+E
　　nekohtml的org.cyberneko.html.filters 包中有DefaultFilter、浙江工商大学个人门户8[8BL)G^@%@7K
ElementRemover、Identity、Writer，能实现动态插入内容、删除元素、序列化HTML文档等，不详细述。

 
DGuest
  new org.cyberneko.html.HTMLConfiguration();浙江工商大学个人门户Ux2K
}'Q9}~
m#VY

config.setFeature("http://cyberneko.org/html/features/augmentations", true);浙江工商大学个人门户#P4K&]s D^3s

config.setProperty("http://cyberneko.org/html/properties/names/elems", "lower"); 

// settings on DOMParser
{L5eJ8L)?]/9nGuest
org.cyberneko.html.parsers.DOMParser parser = 浙江工商大学个人门户*P1Xn8M;GE2A

  new org.cyberneko.html.parsers.DOMParser();
+T:go9N Au:lGuest
parser.setFeature("http://cyberneko.org/html/features/augmentations", true);浙江工商大学个人门户9D4qgt-H]q+U

parser.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");浙江工商大学个人门户 Z1sM:/Q8[	]yz

nekohtml功能(feature)列表

功能	默认值	描述
http://cyberneko.org/html/features/balance-tags	True	是否允许增补缺失的标签。如果要以XML方式操作HTML文件，此值必须为真。此处提供设置功能，为了性能的原因。
http://cyberneko.org/html/features/balance-tags/ignore-outside-content	False	是否忽略文档根元素以后的数据。如果为false，<html>和<bod>被忽略，所有的内容都被解析。
http://cyberneko.org/html/features/document-fragment	False	解析HTML片段时是否作标签增补。此功能不要用在DOMParser上，而要用在DOMFragmentParser上。
http://apache.org/xml/features/scanner/notify-char-refs	False	当遇到字符实体引用（如＆#x20;）是否将(#x20)报告给相应地文档处理器。
http://apache.org/xml/features/scanner/notify-builtin-refs	False	当遇到XML内建的字符实体引用（如＆amp;）是否将(amp)报告给相应地文档处理器。
http://cyberneko.org/html/features/scanner/notify-builtin-refs	False	当遇到HTML内建的字符实体引用（如＆copy;）是否将(copy)报告给相应地文档处理器。
http://cyberneko.org/html/features/scanner/script/strip-comment-delims	False	是否剥掉<script>元素中的<!-- -->等注释符。
http://cyberneko.org/html/features/augmentations	False	是否将与HTML事件有关的infoset项包括在解析管道中。
http://cyberneko.org/html/features/report-errors	False	是否报告错误。

nekohtml属性列表

属性	默认值	值域	描述
http://cyberneko.org/html/properties/filters	null	XMLDocumentFilter[]	在解析管道的最后按数组顺序追加自定义的处理组件（过滤器），必须为数组类型。
http://cyberneko.org/html/properties/default-encoding	Windows-1252	IANA encoding names	默认的HTML文件编码
http://cyberneko.org/html/properties/names/elems	upper	upper,lower,match	如果整理识别出的元素名称
http://cyberneko.org/html/properties/names/attrs	lower	upper,lower,no-change	如果整理识别出的属性名称

四、管道过滤器

　　Xerces Native Interface (XNI)定义了一个解析器配置框架，在那儿一个个解析器以模块化组件的形式组成一个管道。这样一来，通过重新安排已有组件和/或新定制开发的组件，就可完成一个新的解析器配置工作。由于nekohtml是采用这个配置框架开发的，所以对解析器新增功能就很简单通过在默认的nekohtml解析管道的末端增加文档过滤器来实现。

　要新开发一个过滤器，很简单地实现xerces2的org.apache.xerces.xni.parser包中的XMLDocumentFilter接口即可。这个接口，一方面使组件成为管道中上一级的事件处理器，另一方面又成为下级的信息源。针对nekohtml的过滤器开发，只需简单地扩展org.cyberneko.html.filters包中的DefaultFilter类即可。
　　将自行开发的过滤器加入管道，可参考以下两种办法：

___FCKpd___4

　　nekohtml的org.cyberneko.html.filters 包中有DefaultFilter、
ElementRemover、Identity、Writer，能实现动态插入内容、删除元素、序列化HTML文档等，不详细述。

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
NekoHTML读书笔记

　　J. Andrew Clark用Java写了一系列的工具(Java APIs)，NekoHTML是其中之一。T!og"lj;QGuest　　NekoHTML是一个简单地HTML扫描器和标签补偿器(tag balancer) ,使得程序能解析HTML文档并用标准的XML接口来访问其中的信息。这个解析器能投扫描HTML文件并“修正”许多作者（人或机器）在编写HTML文档过程中常犯的错误。Ne
复制链接

扫一扫

专栏目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。