Jsoup + HtmlUtil 实现网易新闻网页爬虫
1.这里先说明为什么要用HtmlUtil,仅用Jsoup不行吗?如果用Jsoup的方法,那么爬取网页的代码如下,这也是比较简单的形式了。Document docu1=Jsoup.connect(url).get();用上述代码只能爬取静态网页的,当遇到动态网页就会发现你想要的内容爬取不出来。因此我用到了HtmlUtil。具体代码如下:这里面的方法getHtmlFromUrl(St...
原创
2019-01-14 18:24:11 ·
2740 阅读 ·
1 评论