使用HtmlUnit获取博客园第一页的所有文章标题

最新推荐文章于 2019-06-24 20:57:38 发布

weixin_30703911

最新推荐文章于 2019-06-24 20:57:38 发布

阅读量82

点赞数

文章标签： java 大数据数据结构与算法

原文链接：http://www.cnblogs.com/wuyouwulv/p/htmlunit_get_titles.html

版权

HtmlUnit的参考资料：http://htmlunit.sourceforge.net/
HtmlUnit的maven depedency:
<dependency>
    <groupId>net.sourceforge.htmlunit</groupId>
    <artifactId>htmlunit</artifactId>
    <version>2.18</version>
</dependency>
代码：

import java.util.List;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlDivision;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class GetFirstPageTitles {
    private static void solve() throws Exception {
        final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_38);
        final HtmlPage page = webClient.getPage("http://www.cnblogs.com/wuyouwulv");
        
        final List<HtmlDivision> divs = (List<HtmlDivision>) page.getByXPath("//div[@class='postTitle']");
        
        for(HtmlDivision div : divs) {
            System.out.println(div.asText());
        }
    }
    
    public static void main(String[] args) throws Exception {
        solve();
    }
}

结果：
Jython引用Java类
Ubuntu15.10下Hadoop2.6.0伪分布式环境安装配置及Hadoop Streaming的体验
python使用wxPython创建一个简单的文本编辑器。
一次在局域网中ssh连接的尝试
ubuntu下使用code::blocks编译运行一个简单的gtk+2.0项目
[转]json-lib 的maven dependency
Codeforces Round #320 (Div. 1) [Bayan Thanks-Round] B. "Or" Game
maven添加oracle jdbc依赖
我的ubuntu新系统自动装软件脚本
k近邻算法C++二维情况下的实现

转载于:https://www.cnblogs.com/wuyouwulv/p/htmlunit_get_titles.html