利用selenium获取动态页面的html数据

selenium调用浏览器获取动态html值,再调用其API,可以很方面获取动态数据。经测试,确实简单易用,至于效率方面就没细究了。代码参考:http://my.oschina.net/flashsword/blog/147334(向原作者致敬)。

【前言】我看其他文章中说到设置环境变量path,还提及selenium-server和Selenium-rc,我这篇文章没那么复杂,没有设置path,只是使用webdriver技术,调用本机chrome,获取动态页面渲染后的html,在进行解析。代码如下:

public static void main(String[] args) {
        System.getProperties().setProperty("webdriver.chrome.driver",
			"D:\\Code\\chromedriver.exe"); //这个参数就是【chrome驱动器的位置】
	WebDriver webDriver = new ChromeDriver();
	webDriver.get("http://www.facejoking.com/top/12001/0");
	WebElement webElement = webDriver.findElement(By.id("ColumnContainer"));
	List<WebElement> listLink = webElement.findElements(By.tagName("a"));
	for (int i = 0; (i + 2) < 50; i += 2) {
		System.out.println(listLink.get(i).getAttribute("href") + "/"
				+ listLink.get(i + 1).getText());
	}
	System.out.println("chrome driver");
        // 关闭窗口,释放资源。
	webDriver.close();
}

【后言】 需要从 http://www.seleniumhq.org/download/ 下载【chrome驱动器】和【java的jar包】。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值