网页的获取和解析

最新推荐文章于 2023-12-01 15:09:29 发布

N_WANT

最新推荐文章于 2023-12-01 15:09:29 发布

阅读量921

点赞数

分类专栏：学习日记

本文链接：https://blog.csdn.net/N_WANT/article/details/72772074

版权

学习日记专栏收录该内容

5 篇文章 0 订阅

订阅专栏

网页的获取&解析

使用JAVA编写，需要的包和工具：Jsoup、PhantomJS
目标：能获取到完整的异步加载网页，使用Jsoup解析获得的网页

1.准备工作

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

下载 Jsoup

PhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVGPhantomJS是一个无界面的,可脚本编程的WebKit浏览器引擎。它原生支持多种web 标准：DOM 操作，CSS选择器，JSON，Canvas 以及SVG。

下载 PhantomJS

2.Jsoup获取静态网页

Jsoup的connect方法能够直接获取静态网页
例如：

Document doc=Jsoup.connect("https://www.zhihu.com/question/19551007")
                .userAgent("Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)")//模拟火狐浏览器
                .get();

对获取到的Document进行解析

String content = doc.html();  //得到该静态网页源码
String tilte = doc.title();   //得到title

//Jsoup的优点在于能使用像这样类似于jQuery的操作
//对我来说，比用正则式方便多了 = =
Elements writer = doc.select(".UserLink-link");
Elements contents = doc.getElementsByClass("RichText CopyrightRichText-richText");  

//输出
for (Element span : contents) { 
          String cText = span.text(); 
          System.out.println("\n"+cText);
        }

Jsoup的优点是解析网页很方便，但也有缺点：connect方法得到的是静态的网页，除非是用parse从本地文件加载文档，不然就没办法得到完整的异步加载的网页内容。

详细参考：Jsoup Cookbook

想得到完整的异步加载网页，这时候就该PhantomJS上场了。

3.PhantomJS的简单使用

PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。

也就是说，我们可以用PhantomJS实现任何浏览器可以做到的事情，包括浏览一个异步请求加载的网页，据说模拟点击按钮也能实现，更多好玩的用法以后再说，在此只用它来搞到完整的网页。

使用Webpage模块的Open方法，GET和POST data都可以实现

JScode.js 代码如下：

system = require('system')  //首先引用系统模块
address = system.args[1];   //通过 JS文件名+网址  的方式将网址输入
var page = require('webpage').create();  //引用Webpage模块并创建一个实例
var url = address;
phantom.outputEncoding = "gbk";          //输出的编码方式设为gbk，编码不对会出现中文乱码的情况
page.open(url, function (status) {
    //Page is loaded!  
    if (status !== 'success') {
        console.log('Unable to post!');
    } else {
        window.setTimeout(function () {
            //page.render("test.png");  //截图
            console.log(page.content);  //输出GET到的内容
            phantom.exit();             //退出
        }, 5000);                       //等待5秒
    }
});

调用PhantomJS执行上面的JS文件，即可得到网页内容
通过Runtime.exec()方法来执行调用命令

以下是声明java.lang.Runtime.exec()方法：

public Process exec(String command)

参数：
command – 指定的系统命令

那么，此处的系统命令应该为：

String execc = "F:\\PhantomJS\\phantomjs-2.1.1-windows\\bin\\phantomjs  F:\\PhantomJS\\phantomjs-2.1.1-windows\\bin\\JScode.js " + url;
//前一个地址是phantomjs所在的位置，后一个地址是JScode.js所在的位置

封装为一个方法：

   /**
     * 输入网址，返回该网页的Document
     * @param url
     * @return Document
     * @throws IOException
     */
    public static Document getHtml(String url) throws IOException{
        Runtime rt = Runtime.getRuntime();
        String execc = "F:\\PhantomJS\\phantomjs-2.1.1-windows\\bin\\phantomjs  F:\\PhantomJS\\phantomjs-2.1.1-windows\\bin\\JScode.js " + url;
        Process p = rt.exec(execc);
        InputStream getW = p.getInputStream();
        Document doc = Jsoup.parse(getW, "gbk", url);
        return doc;
    }