Java爬虫抓取豆瓣读书信息

要求：
Java爬虫抓取豆瓣读书信息中关于“编程，算法，互联网”评分最高的前100本书（要求评论数量大于1000）

实现思路：
1.通过手动打开豆瓣读书的主页面 https://book.douban.com/ ,输入“互联网”关键词，点击查询按钮，分析浏览器的NetWork工具分析发送的查询地址及参数格式，https://book.douban.com/tag/互联网?type=S ；
2.通过java.io.net包中的URL类，模拟发送请求；
3.获取到返回html的输入流，将其写入StringBuffer;
4.使用jsoup工具包，解析html格式的字符，生成document对象；
5.根据需要的信息，从Document对象中进行元素的筛选，获取所需的信息；
6.使用多线程发送请求，同步的ArrayList对获取到的信息进行存储，排序；
7.使用poi工具对有效数据进行输出成Excel表格。

运行结果：

代码结构：

源码地址：
https://github.com/LiangShichao/Spider