Python网络爬虫实践(2)
一、需求分析
爬取某小说网站的一部小说
二、步骤
- 目标数据
- 网站
- 页面
- 分析数据加载流程
- 分析目标数据所对应的url
- 下载数据
- 清洗,处理数据
- 数据持久化
重点:分析目标数据所对应的url
本文小说网站选取精彩小说网为例,选取的小说为盗墓笔记。
通过Chrome开发者模式,找到小说名字,目录,目录内容所在位置。
小说的名字:
目录:
目录内容:
三、代码实现
python:
import request
爬取某小说网站的一部小说
重点:分析目标数据所对应的url
本文小说网站选取精彩小说网为例,选取的小说为盗墓笔记。
通过Chrome开发者模式,找到小说名字,目录,目录内容所在位置。
小说的名字:
目录:
目录内容:
python:
import request