使用Jsoup对豆瓣读书进行爬虫

package Spider;

import java.io.IOException;
import java.net.URLEncoder;
import java.util.ArrayList;
import java.util.Collections;
import java.util.List;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

public class Spider {
//数据库层，我就不贴代码出来了，每个人数据库不一样，我会在涉及到数据库的地方注释
    DataBaseHelp db = new DataBaseHelp();

    public void run() {
        //调用getTagsStringList()获取标签列表并且对这个链表遍历获取该标签的图书。
        List<String> tagList = getTagsStringList();
        for (int i = 0; i < tagList.size(); i++) {
            //在数据库中插入该标签
            db.selectAndInsertTagId(tagList.get(i));
            //获取该标签的图书
            getBookListbyTag(tagList.get(i));
        }
    }
    //获取标签tag的所有图书
    public List<Book> getBookListbyTag(String tag) {
    //先将该标签插入数据库，并获得标签id
        int tagId = db.selectAndInsertTagId(tag);
        //循环豆瓣的页面，豆瓣在https://www.douban.com/tag/标签/book?strat=起始书本编号  这个页面展示数量为20的书本，利用循环控制起始编号获取该标签的所有书本
        for (int num = 0;; num += 15) {
            try {
            //使用Jsoup连接，需要导入Jsoup包，网上下一个就好了，注意必须设置cookie，要不然多访问几次豆瓣会禁止访问，cookie随便设置一个值，不过最好模仿豆瓣给浏览器返回的。当然也可以实现先从豆瓣得到cookie。
                Document doc = Jsoup
                        .connect(
                                "https://www.douban.com/tag/"
                                        + URLEncoder.encode(tag, "UTF-8")
                                        + "/book")
                        .data("start", Integer.toString(num))
                        .userAgent(
                                "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36")
                        .header("cookie", "bid=\"Q5KWZL7y8g7\";").get();
                Elements bookElements = doc.select("div.book-list > dl");
                //如果当前页已经没有书本了，跳出循环
                if (bookElements.size() < 1)
                    break;
                 System.out.println(bookElements.select("a.title").html());
                for (int i = 0; i < bookElements.size(); i++) {
                    String bookName = bookElements.get(i).select("a.title")
                            .html();
                    String bookDetail = bookElements.get(i).html();
                    String bookRank = bookElements.get(i)
                            .select("span.rating_nums").html();
                    if (!bookRank.equals("")) {
                        Book book = new Book(bookName, bookDetail, bookRank);
                        System.out.println(bookName + bookRank + "tag" + tag+ "num" + num);
                        //将书本数据插入数据库
                        db.insertBook(bookName, bookDetail, bookRank, tagId);
                        //bookList.add(book);
                    }
                }
                //暂停2秒，豆瓣对一定时间内范围有次数限制，2秒是我实验过程中最小的数字了，多了就会403错误，2s间隔大概2小时能读完豆瓣自给标签的50000本书
                Thread.sleep(2000);
            } catch (IOException | InterruptedException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
                //若报错了，则重新读取这个页面
                num-=15;
            }

        }
        //return bookList;
                return  null;
    }
    //该函数实现获取标签List
    public List<String> getTagsStringList() {
        List<String> lis = new ArrayList<String>();
        try {
            //利用Jsoup连接标签列表页面，同样设置cookie
            Document doc = Jsoup
                    .connect("https://book.douban.com/tag/")
                    .header("host", "book.douban.com")
                    .header("accept",
                            "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8")
                    .header("scheme", "https")
                    .header("version", "HTTP/1.1")
                    .header("path", "/tag/")
                    .header("accept-encoding", "gzip, deflate, sdch")
                    .header("accept-language", "zh-CN,zh;q=0.8")
                    .header("cookie", "bid=\"Q5KWZL7y8g7\";")
                    .header("cache-control", "max-age=0")
                    .userAgent(
                            "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36")
                    .get();

            Elements tag = doc.select("div.article");
            String[] str = tag.select("a.tag").html().split("\n");
            Collections.addAll(lis, str);
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        return lis;
    }

    public static void main(String[] args) {
        Spider s = new Spider();
        s.run();

    }
}