import os
import re
#创建一个文件夹
if not os.path.exists('./fenyeTupian'):
os.mkdir('./fenyeTupian')
#请求网页(分页爬取,通用的url模板)
url = "https://tieba.baidu.com/f?kw=赵丽颖pn=%d"
headers = {
'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
}
# pnNum = 0 #起始页
for pnNum in range(0,11):
#对应页码的url
new_url = format(url%pnNum)
#使用通用爬虫对整张页面进行爬取
page_text = requests.get(url=new_url,headers=headers).text #获取源码数据,字符形式
#使用聚焦爬虫将所有页面的的图片进行提取
ex = r'<img.*?src="(.*?)".*?>'
img_src_list = re.findall(ex,page_text,re.S) #re.S单行匹配 正则用于数据解析,一定是re.S。findall返回列表
# print(img_src_list)
for src in img_src_list:
src = "https:" + src #一张图片完整的图片地址URL
img_data = requests.get(url=src,headers
python爬虫7:分页爬取网页内容(需修改)
最新推荐文章于 2025-03-08 23:19:36 发布

最低0.47元/天 解锁文章
5173

被折叠的 条评论
为什么被折叠?



