java ec.exec exe_java 利用chrome+puppeteer实现爬虫

java在进行爬虫过程中会因为网站作出反爬措施，导致抓取的内容不全面，所以需要利用模拟浏览器，打开页面获取到页面的全部内容。本文以腾讯新闻https://news.qq.com/为例。

环境配置参考https://www.jianshu.com/p/6c3d90bef17f，可以配置nodejs的环境。

一、使用jsoup解析网页，当解析腾讯新闻时只能获取到网页的源码，其他与新闻相关的内容一概获取不到，从而无法抓取到有用的信息。

/**

* 利用jsoup解析网页

* @param url

* @return

*/

public static Document getDocumentByJsoup(String url){

Document document = null;

try {

document = Jsoup.connect(url).timeout(15000).get();

String text = document.getElementsByTag("body").text();

System.err.println(text);

} catch (IOException e) {

e.printStackTrace();

}

return document;

}

测试获取的结果，获取不到新闻列表

result.png

二、利用chrome + nodejs的方式进行测试。

/**

* 利用chrome方式获取页面信息

* @param url

* @return

*/

public static Document getDocument(String url){

Document document = null;

//chrome浏览器地址

String chromePath = "你的chrome浏览器根目录";

//nodejs地址 + 截图的js的地址(两个需要在同一个目录之下)

String nodeJSPath = "nodejs根目录地址 渲染页面所需要的js根目录地址.js";

String BLANK = " ";

String exec = nodeJSPath + BLANK + chromePath + BLANK + url;

try {

//执行脚本命令

Process process = Runtime.getRuntime().exec(exec);

System.err.println("ecec =======> " + exec);

InputStream is = process.getInputStream();

document = Jsoup.parse(is, "UTF-8", url);

try {

process.waitFor();

} catch (InterruptedException e) {

e.printStackTrace();

}

process.destroy();

process = null;

} catch (Exception e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

return document;

}

运行获取到的结果

result2.png

而在任务执行过程中所需要的渲染页面的js

render.png

写好js后可以利用cdm进行测试。java中也可以利用相同的方法进行截图。只需要在程序中将js换掉就行。并增加一个参数

截图地址.png

截图所需要的js

截图