python3 使用re、requests、pymongo三个模块,爬取豆瓣读书小说内容的所有信息,并将内容保存到CSV或者mongodb中文件中
python中的爬虫中的requests和re模块,是我们很常见的两个模块,今天用这两个模块,爬取豆瓣读书一个页面上的所有书名以及作者名 ,由于多页爬取和单页的原理相似,这里不做多解释。
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# author:albert time:2019/9/26
import requests
import re
...
原创
2019-09-26 15:30:07 ·
686 阅读 ·
0 评论