Jsoup本身是只能获取到静态页面的数据,并无法获取动态生成的内容,所以单单使用jsoup是无法获取到js生成的内容的。我这里使用了htmlunit来获取网页内容后,将网页转换成xml格式,再通过jsoup进行解析
1.依赖导入
一般Jsoup和HttpClient都是一起使用的,版本随意,可以无脑选择新版本
org.apache.httpcomponents
httpclient
4.5.2
org.jsoup
jsoup
1.11.3
net.sourceforge.htmlunit
htmlunit
2.33
2.简单的代码
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import java.io.*;
//使用Jsoup+Htmlunit下载动态js的内容
public class Test {
public static void main(String[] args) throws IOException {
//Htmlunit模拟的浏览器,设置css,js等支持及其它的一些简单设置
WebClient browser = new WebClient();
browser.getOptions().setCssEnabled(false);
browser.getOptions().setJavaScriptEnabled(true);
browser.getOptions().setThrowExceptionOnScriptError(false);
//获取页面
HtmlPage htmlPage = browser.getPage("http://www.baidu.com");
//设置等待js的加载时间
browser.waitForBackgroundJavaScript(3000);
//使用xml的方式解析获取到jsoup的document对象
Document doc = Jsoup.parse(htmlPage.asXml());
System.out.println(doc);
}
}
现在可以将获取到的org.jsoup.nodes.Document使用Jsoup的方式进行解析了!