- 博客(1)
- 收藏
- 关注
原创 利用python Scrapy框架爬取获取全国五级地址
先说思路:这是个五级结构的网页,我是一级一级用response.urljoin来构建下一级的url地址,然后通过yield scrapy.Request()来传给下一级的函数处理,得到一个省就把一整个省的一到五级的内容全部爬取出来下载。
2024-08-27 18:01:37 971 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
先说思路:这是个五级结构的网页,我是一级一级用response.urljoin来构建下一级的url地址,然后通过yield scrapy.Request()来传给下一级的函数处理,得到一个省就把一整个省的一到五级的内容全部爬取出来下载。
2024-08-27 18:01:37 971 1
TA创建的收藏夹 TA关注的收藏夹
TA关注的人