详情
代码详情见公众号------梦引之遇
采集信息
1)起点中文网限制五页的小说信息提供
2)提供的小说数据:
小说标题/作者/分类/更新状态/简介/字数
3)数据对应的xpath路径
反字体加密获取小说字数
由于起点中文网在小说字数处设置了加密映射,直接爬取会导致乱码,需要进行重构映射。
MongoDB数据库存储
- 安装MongoDB数据库(正常官网下载安装)
- 导入pymongo模块
- 连接数据库
- 建立数据库
- 建立数据集合
- 插入数据
多进程减少时间
多进程爬取(必须在主函数跑进程,否则试逝)