首发于:https://mp.weixin.qq.com/s/Xo7StWY0VS2aEQi-52FNlA
前言
- 难度:入门级
- python版本:3.7
- 主要收获:爬虫经验+100;python经验+100
主要会用到python和爬虫技术,入门级项目,偏简单,适合新人练手,看这个之前最好是对python和爬虫有一些了解
需求
需求名称:采集《python进阶》教程
网页:https://docs.pythontab.com/interpy/
需求:采集网页上的所有进阶内容,并整理成文档
采集具体的进阶教程内容即可
需求分析
我们看下需求,需要采集的东西并不是很多,我们先打开网页看一下
看下目录,数据量不是很多
大致数了一下就几十个页面,这很少了
对应下需求,根据经验,列下我们需要解决的一些问题
- 单页面抓取问题
- 多页面url获取问题 <