爬取数据简述步骤

输入想爬取的列表页url

利用okhttp拿到url对应的列表页HTML

Jsoup将列表页HTML进行解析，拿到想要的话题a标签->话题url

再一次通过okhttp，话题url拿到话题的HTML

话题的HTML，话题的url(那一条是否抓过)，首页的模块大类小类(Enum枚举)，列表页url（表明抓到了哪一页）存入mongo数据库

抓取数据完成

用的时候将数据取出来，比如拿到话题html，Jsoup解析后拿到话题页需要的文本信息，将其存入mysql

将大段话题HTML存入mongo原因：如果网站将一部分话题删除掉，那么对应的话题内文本也会丢失，将话题HTML存入mongo，可以将数据长期保存，随用随取

不在Mongo中存需要的文本信息的原因：当数据量过大要删除一部分html的时候，若需要的信息和HTML存在了一起，则会被一起删除掉，造成数据丢失