java爬虫爬取动态页面记录

最新推荐文章于 2025-10-17 11:54:55 发布

原创最新推荐文章于 2025-10-17 11:54:55 发布 · 1.3k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #java #HttpClient #Jsoup #htmlunit

爬虫专栏收录该内容

2 篇文章

订阅专栏

本文介绍了在爬虫开发中遇到的挑战，即如何获取JavaScript动态生成的网页内容。通过尝试HttpClient和Jsoup无法成功后，转向使用HtmlUnit库，启用JavaScript支持并设置相关选项，成功获取到所需页面。同时提到了在WebMagic中集成Selenium进行更复杂的网页解析。

最开始采用的HttpClient获取页面+Jsoup分析页面，但是获取不到想要的页面内容，发现自己想要的数据是js生成的，HttpClient加了头和Cookie还是获取不到，最后采用的htmlunit获取页面就可以了。

        WebClient webClient=new WebClient();
        WebClientOptions options = webClient.getOptions();
        options.setJavaScriptEnabled(true);
        options.setCssEnabled(false);
        options.setRedirectEnabled(true);
        try {
            HtmlPage htmlPage = webClient.getPage(url);
            // 等待JS驱动dom完成获得还原后的网页
            webClient.waitForBackgroundJavaScript(10000);
            String page=htmlPage.asXml();
            //分析页面
            analyse(page);
            webClient.close();
        } catch (IOException e) {
            e.printStackTrace();
        }

使用WebMagic时，除了核心包外记得导入webmagic-selenium依赖就行。

        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-selenium</artifactId>
            <version>0.7.5</version>
        </dependency>