python爬虫7:分页爬取网页内容(需修改)

import os
import re
#创建一个文件夹
if not os.path.exists('./fenyeTupian'):
    os.mkdir('./fenyeTupian')
#请求网页(分页爬取,通用的url模板)
url = "https://tieba.baidu.com/f?kw=赵丽颖pn=%d"
headers = {
    'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
}
# pnNum = 0  #起始页
for pnNum in range(0,11):
    #对应页码的url
    new_url = format(url%pnNum)

    #使用通用爬虫对整张页面进行爬取
    page_text = requests.get(url=new_url,headers=headers).text   #获取源码数据,字符形式
   

     #使用聚焦爬虫将所有页面的的图片进行提取
    ex = r'<img.*?src="(.*?)".*?>'
    img_src_list = re.findall(ex,page_text,re.S)  #re.S单行匹配 正则用于数据解析,一定是re.S。findall返回列表
    # print(img_src_list)
    for src in img_src_list:
        src = "https:" + src  #一张图片完整的图片地址URL
        img_data = requests.get(url=src,headers
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值