探索 Jsoup开源项目,深入解析技术点.(我认为他是一个非常好而很容易上手的工具)

Jsoup与Jquery的区别:


 
 

  
  
jsoup 是一款 Java 的HTML 解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于JQuery的操作方法来取出和操作数据。该版本包含一个支持 HTML5 的解析器分支，可确保跟现在的浏览器一样解析 HTML 的方法，同时降低了解析的时间和内存的占用。点击链接打开JsoupAPI
  
  

  
  
Jquery是继prototype之后又一个优秀的Javascrīpt框架。它是轻量级的js库，它兼容CSS3，还兼容各种浏览器 。jQuery使用户能更方便地处理HTML documents、events、实现动画效果，并且方便地为网站提供AJAX交互。jQuery还有一个比较大的优势是，它的文档说明很全，而且各种应用也说得很详细，同时还有许多成熟的插件可供选择。jQuery能够使用户的html页保持代码和html内容分离，也就是说，不用再在html里面插入一堆js来调用命令了，只需定义id即可。点击链接打开JqueryAPI

 
 
Jsoup详解(直接进入正题):
	随着Web应用的不断发展，开发人员有时需要通过HTML解析功能实现客户需求。读者朋友可能对老牌HTML Parser Java库比较熟悉。                 其实，jsoup也是为了方便开发人员实现HTML解析而诞生（2010年初发起）的一款工具包。jsoup的主要功能包括：
 
 

  
  
解析，通过URL、文件或者字符串来分析HTML文档。
查找，通过DOM遍历或者CSS选择器来寻找和抽取数据。
操作，处理HTML元素、属性和文本。
检查，通过白名单机制来保护HTML内容的安全。
  
  

   
   

  
  
  
  

   
    
  
  
  
  

   
   

  
  
  
  

   
   常见的方式如下:
  
  
  
  

   
   
   
   
Document doc = Jsoup.connect(待解析的url).get();
Elements e = doc.select("从doc里获取指定元素 标签 id 等内容,在最后给大家将选择器");
   
   

   
   

  
  
  
  

   
   我认为在玩Jsoup的时候都是这样玩的,connect.(url).get();对方法的含义不在声明,具体请看API,上面有给大家提供
  
  
  
  

   
   

  
  
  
  

   
   接下来给大家看一下初始化html时的全部代码
  
  
  
  

   
   

  
  
  
  

   
   
   
   
　　// 从URL直接加载HTML 文档
　　Document doc =Jsoup.connect("网址/").get();
　　String title = doc.title();//这个方法其实就是获取了doc中的title,大家可以测试一下
　　Document doc =Jsoup.connect("网址/")
　　.data("query", "Java") //请求参数
　　.userAgent("I’mjsoup") //设置User-Agent
　　.cookie("auth", "token") //设置cookie
　　.timeout(3000) //设置连接超时时间
　　.post(); //使用POST方法访问URL
　　// 从文件中加载HTML 文档
　　File input = new File("D:/test.html");
　　Document doc = Jsoup.parse(input,"UTF-8","网址/");
   
   请大家注意最后一种HTML 文档输入方式中的parse 的第三个参数，为什么需要在这里指定一个网址呢（虽然可以不指定，如第一种方法）？因为HTML 文档中会有很多例如链接、图片以及所引用的外部
   
   脚本
   
   、css文件等，而第三个名为baseURL 的参数的意思就是当HTML 文档使用
   
   相对路径
   
   方式引用外部文件时，jsoup会自动为这些URL 加上一个前缀，也就是这个baseURL。
   
   

   
   　　例如<a href=/project>开源软件</a> 会被转换成<a href=网址>开源软件</a>。
  
  
  
  

   
   

  
  
  
  

   
   而在元素检索方面，jsoup 的选择器简直无所不能，

  
  
  
  

   
   


  
  
  
  

   
   
   
   
File input = new File("D:\test.html");
　　Document doc =Jsoup.parse(input,"UTF-8","网址");
　　Elements links = doc.select("a[href]"); // 具有href 属性的链接
　　Elements pngs = doc.select("img[src$=.png]");//所有引用png图片的元素
　　Element masthead =doc.select("div.masthead").first();
　　// 找出定义了class=masthead 的元素
　　Elements resultLinks = doc.select("h3.r >a"); // direct a after h3
   
   

   
   

  
  
  
  

   
   这是jsoup 真正让我折服的地方，jsoup使用跟jQuery 一模一样的选择器对元素进行检索，以上的检索方法如果换成是其他的HTML 解释器，至少都需要很多行代码，而jsoup 只需要一行代码即可完成。
   
   

   
   jsoup 的选择器还支持
   
   表达式
   
   功能，我们将在最后一节介绍这个超强的选择器。
   
   

  
  
  
  

   
   

  
  
  
  

   
   在这里给大家介绍一个比较突出的功能:HTML文档清理:
  
  
  
  

   
    jsoup 在提供强大的API 同时，人性化方面也做得非常好。在做网站的时候，经常会提供用户评论的功能。有些用户比较淘气，会搞一些脚本到评论内容中，而这些脚本可能会破坏整个页面的行为，更严重的是获取一些机要信息，例如XSS 跨站点攻击之类的。
  
  
  
  

   
   

  
  
  
  

   
   jsoup 对这方面的支持非常强大，使用非常简单。看看下面这段代码：
   
   
　　String unsafe = "<p><a href='网址' οnclick='stealCookies()'>开源中国社区</a></p>";
   
   
　　String safe = Jsoup.clean(unsafe, Whitelist.basic());
   
   
　　// 输出:
   
   
　　// <p><ahref="网址" rel="nofollow">开源中国社区</a></p>
   
   
　　jsoup 使用一个Whitelist 类用来对HTML 文档进行过滤，该类提供几个常用方法：
   
   

  
  
  
  

   
   

  
  
  
  

   
    
  
  
  
  

   
   

  
  
  
  

   
   如果这五个过滤器都无法满足你的要求呢，例如你允许用户插入flash 动画，没关系，Whitelist提供扩展功能，例如whitelist.addTags("embed","object","param","span","div");也可调用addAttributes 为某些元素增加属性。

  
  
  
  

   
   

  
  
  
  

   
   

  
  
  
  

   
   
   
   
jsoup 的过人之处——选择器:
   
   

    
    

   
   
   
   

    
    	
   
   
   
   

  
  
  
  

   
    
  
  
  
  

   
   

  
  
  
  

   
   以上是最基本的选择器语法，这些语法也可以组合起来使用，下面是jsoup支持的组合用法：

  
  
  
  

   
   

  
  
  
  

   
   

  
  
  
  

   
   

  
  
  
  

   
   除了一些基本的语法以及这些语法进行组合外，jsoup 还支持使用表达式进行元素过滤选择。下面是jsoup支持的所有表达式一览表：