使用JAVA+Selenium爬虫

总体思路是获取网页加载完成后的html内容,解析html然后获取所需要的元素,从而获得需要的信息。

1、环境准备工作
知识上需要有基本的java和html知识;环境上需要准备java、selenium和chrome浏览器及对应的chrmoedriver(也可以使用firefox等浏览器,需要另外进行简单的配置),mac os下selenium+chrome的环境准备可以参见我的另一篇博客:http://blog.csdn.net/egg1996911/article/details/72085151

2、分析所需要爬虫的网站的html结构
以新浪nba(http://sports.sina.com.cn/nba/)为例,我想要爬取的内容为首页的新闻信息,如下图中蓝框所框部分:
这里写图片描述

打开浏览器的开发者工具,分析所框部分的html元素:
这里写图片描述
可以发现新闻内容都在class=“item”的li元素下,这样我们就有迹可循了。

3、编写代码

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.openqa.selenium.JavascriptExecutor;
import org.openqa.selenium.WebDriver;

import java.util.List;
import java.util.concurrent.TimeUnit;

/**
 * Created by deng on 2018/3/6.
 */
public class SinaSportsSpider implements Spider {
    private final static String TARGET_URL = "http://sports.sina.com.cn/nba/";
    private final static String FILE_NAME = "/Users/deng/IdeaProjects/Spider/src/SinaSportsNews.txt";

    public void run() throws InterruptedException {
        StringBuilder allNewses = new StringBuilder();

        WebDriver driver = MyWebDriver.createWebDriver();
        driver.get(TARGET_URL);

        WebDriver newsDriver = MyWebDriver.createWebDriver();
        // 超过8秒即为超时,会抛出Exception
        newsDriver.manage().timeouts().pageLoadTimeout(8, TimeUnit.SECONDS);

        Document document = Jsoup.parse(driver.getPageSource());
        List<Element> liTags = document.getElementsByClass("item");
        for (int i = 0; i < 3; i++) {
            List<Element> aTags = liTags.get(i).getElementsByTag("a");

            // 遍历单条新闻
            for (Element a : aTags) {
                String href = a.attr("href");

                // 筛选出新闻的url
                if (href.contains("sports.sina.com.cn") && href.contains("shtml")) {
                    System.out.println(href);
                    allNewses.append(href + "\n");

                    try {
                        newsDriver.get(href);
                    } catch (Exception e) {
                        // 加载页面超时,执行js手动停止页面加载
                        ((JavascriptExecutor) newsDriver).executeScript("window.stop()");
                    }finally {
                        Document newsDocument = Jsoup.parse(newsDriver.getPageSource());
                        String title = newsDocument.getElementsByClass("main-title").get(0).text();

                        Element dateAndSource = newsDocument.getElementsByClass("date-source").get(0);
                        String date = dateAndSource.getElementsByTag("span").get(0).text();
                        String source = dateAndSource.getElementsByTag("a").get(0).text();


                        allNewses.append(title + "\n");
                        allNewses.append(date + " " + source + "\n");

                        Element article = newsDocument.getElementById("artibody");
                        for (Element p : article.getElementsByTag("p")) {
                            allNewses.append(p.text().trim() + "\n");
                        }
                    }
                }
            }
        }
        Thread.sleep(3000);

        driver.quit();
        newsDriver.quit();

        MyFileWriter.writeString(FILE_NAME, allNewses.toString());
    }

    public static void main(String[] args) {
        try {
            new SinaSportsSpider().run();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }
}
  • 总体思路:找到class为item的li元素,获得li下的a元素,然后就能获得新闻标题和链接,再用另一个WebDriver打开新闻网页,获得新闻详情;
  • 打开单个新闻页面时,需要的内容(新闻标题、时间、正文)已经加载出来了,但是页面仍然显示加载中(url旁边一直有个转圈的标志),因此需要规定个超时时间,确保在这个时间内(比如程序中的8秒)所需要爬虫的内容已经加载完毕,因此在手动stop网页加载后还能够爬取到想要的信息;

nba新闻

4、总结
代码比较简单粗暴,有很多待改进的地方。
1) 设置8秒为超时时间的行为不够合理,比如为什么是8秒(过长浪费时间,过短会导致内容未加载完成),应该有更好的方案解决(比如使用Selenium的显示等待机制,待研究);
2) 当爬虫中间出现异常时,会导致之前已爬取到的内容丢失,同时也会导致爬虫无法继续进行下去,没有异常恢复机制等措施;


项目源码:https://github.com/LeiDengDengDeng/spider

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 像素格子 设计师:CSDN官方博客 返回首页