JAVA爬虫之jsoup解析网页之豆瓣看书信息爬取

jsoup解析网页之豆瓣看书信息爬取：

在这里面我们要用到jsoup 之selecter的内容：

简单介绍一下：

jsoup elements对象支持类似于CSS (或jquery的选择器语法，来实现非常强大和灵活的查找功能。可以使用Element.select(String selector)和 Elements.select(String selector)方法实现：

我们可以十分快速的就可以找到selector语句：

第一步我们打开我们要爬取的网页：

点击电脑的F12键，或者点击鼠标右键，打开检查，我们就可以打开刘来求自己带的抓包工具：

如图

如图

定位到了后面，我们就可以把鼠标放到元素上面，点击鼠标右键，找到如图，复制selector

后面我们开始写代码：

package com;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

public class douban {
    public static void main(String[] args) throws IOException {
//        https://book.douban.com/top250?start=0
//        书名	图书信息	评分	评论人数
        Document doc = Jsoup.connect(" https://book.douban.com/top250?start=0").userAgent("user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36").get();
      
    }
}

我们先连接到网页，下面就是解析：这个里面我们用到了user-agent这个最简单的反爬虫：

下面是解析网页：

        Elements zt= doc.select("#content > div > div.article > div > table");

我们定位到整个是的table标签，下面我们用一个增强for循环遍历，依次取得想要的元素：

 for (Element e : zt) {
            String bookname=e.select("tbody > tr > td> div.pl2 > a").text();
            String booklevel=e.select("tbody > tr > td > p.pl").text();
            String socre=e.select("tbody > tr > td > div.star.clearfix > span.rating_nums").text();
            String score_name=e.select("tbody > tr > td:nth-child(2) > div.star.clearfix > span.pl").text();
            System.out.println("书名："+bookname);
            System.out.println("图书信息："+booklevel);
            System.out.println("评分："+socre);
            System.out.println("书名："+score_name);

其中的select都是去定位元素，复制select取得的

完整代码如下：

package com;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

public class douban {
    public static void main(String[] args) throws IOException {
//        https://book.douban.com/top250?start=0
//        书名	图书信息	评分	评论人数
        Document doc = Jsoup.connect(" https://book.douban.com/top250?start=0").userAgent("user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36").get();
        Elements zt= doc.select("#content > div > div.article > div > table");
        for (Element e : zt) {
            String bookname=e.select("tbody > tr > td> div.pl2 > a").text();
            String booklevel=e.select("tbody > tr > td > p.pl").text();
            String socre=e.select("tbody > tr > td > div.star.clearfix > span.rating_nums").text();
            String score_name=e.select("tbody > tr > td:nth-child(2) > div.star.clearfix > span.pl").text();
            System.out.println("书名："+bookname);
            System.out.println("图书信息："+booklevel);
            System.out.println("评分："+socre);
            System.out.println("书名："+score_name);
        }
    }
}

上面就是一个jsoup解析网页的简单的一个小案例。