用HTMLParser提取URL页面超链接的一段代码

最新推荐文章于 2021-04-20 13:54:23 发布

Spring_LGF

最新推荐文章于 2021-04-20 13:54:23 发布

阅读量2.1k

点赞数

分类专栏： JAVA 搜索引擎文章标签： HTMLParser提取URL

JAVA 同时被 2 个专栏收录

23 篇文章 1 订阅

订阅专栏

搜索引擎

8 篇文章 0 订阅

订阅专栏

转载自：http://topstar.blog.51cto.com/693408/14086


package htmlparser;

import java.util.HashMap;
import java.util.Map;

import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;

public class GetLinkTest
{

  public static void main(String[] args)
  {

    try
    {
      // 通过过滤器过滤出<A>标签
      Parser parser = new Parser("http://www.google.cn");
      NodeList nodeList = parser
          .extractAllNodesThatMatch(new NodeFilter()
          {
            // 实现该方法,用以过滤标签
            public boolean accept(Node node)
            {
              if (node instanceof LinkTag)// 标记
                return true;
              return false;
            }

          });
      // 打印
      for (int i = 0; i < nodeList.size(); i++)
      {
        LinkTag n = (LinkTag) nodeList.elementAt(i);
        System.out.print(n.getStringText() + " ==>> ");
        System.out.println(n.extractLink());
      }
    }
    catch (Exception e)
    {
      e.printStackTrace();
    }

  }

}