jsoup

jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。

示例代码：

File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

Element content = doc.getElementById("content");
Elements links = content.getElementsByTag("a");
for (Element link : links) {
  String linkHref = link.attr("href");
  String linkText = link.text();
}

 

2行代码将html转换成纯文本。

1. String html = "你好，我是来自<a href='http://www.story.net/' target='_blank'>gushi</a>小菜。";  
2. System.out.println(Jsoup.parse(html).text()); 

主要介绍利用 jsoup 将 html 文档中的链接、图片以及其他引入的链接解析出来。

运行时需要传入要解析的URL地址，程序将自动下载该地址的html文档并进行解析。

1. import org.apache.commons.lang.Validate;  
2. import org.jsoup.nodes.Document;  
3. import org.jsoup.nodes.Element;  
4. import org.jsoup.Jsoup;  
5. import org.jsoup.select.Elements;  
6.   
7. import java.net.URL;  
8. import java.io.IOException;  
9.   
10. /** 
11.  * Example program to list links from a URL. 
12.  */  
13. public class ListLinks {  
14.     public static void main(String[] args) throws IOException {  
15.         Validate.isTrue(args.length == 1, "usage: supply url to fetch");  
16.         URL url = new URL(args[0]);  
17.         print("Fetching %s...", url.toExternalForm());  
18.   
19.         Document doc = Jsoup.parse(url, 3*1000);  
20.         Elements links = doc.select("a[href]");  
21.         Elements media = doc.select("[src]");  
22.         Elements imports = doc.select("link[href]");  
23.   
24.         print("/nMedia: (%d)", media.size());  
25.         for (Element src : media) {  
26.             if (src.tagName().equals("img"))  
27.                 print(" * %s: <%s> %sx%s (%s)",  
28.                         src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),  
29.                         trim(src.attr("alt"), 20));  
30.             else  
31.                 print(" * %s: <%s>", src.tagName(), src.attr("abs:src"));  
32.         }  
33.   
34.         print("/nImports: (%d)", imports.size());  
35.         for (Element link : imports) {  
36.             print(" * %s <%s> (%s)", link.tagName(),link.attr("abs:href"), link.attr("rel"));  
37.         }  
38.   
39.         print("/nLinks: (%d)", links.size());  
40.         for (Element link : links) {  
41.             print(" * a: <%s>  (%s)", link.attr("abs:href"), trim(link.text(), 35));  
42.         }  
43.     }  
44.   
45.     private static void print(String msg, Object... args) {  
46.         System.out.println(String.format(msg, args));  
47.     }  
48.   
49.     private static String trim(String s, int width) {  
50.         if (s.length() > width)  
51.             return s.substring(0, width-1) + ".";  
52.         else  
53.             return s;  
54.     }  
55. }