简单使用jsoup:
代码如下:
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
Class Test{
public void main(String[] args){
String url="http://www.baidu.com";
Document doc = Jsoup.connect(url)
.followRedirects(true) //设置系统重定向
.timeout(1000 * 30) //超时时间
.ignoreContentType(true)
.ignoreHttpErrors(true)
.get();
System.out.println(doc);
}
}
即可轻松抓取网页内容。
遇到问题:
1、jsoup抓取网页出现部分代码内容不全,如下图中标记:
这块代码采集不了,网上的一些答案也都试过,暂时不知道是什么原因,这里做个记号。