2021-04-24
爬虫之翻页处理
以百度贴吧爬取翻页
大致思路:找几个url,删除对url没有影响的参数,并分析网址的变化,找出规律
上代码:分析过程及思路都在代码块里了
from urllib import request
from urllib import parse
headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82
原创
2021-04-24 00:59:19 ·
151 阅读 ·
0 评论