实战项目代码

import requests
import os
import parsel

#创建防爬措施
headers ={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'}
url = 'https://www.jdlingyu.com/tuji/page/%d'

for page in range(1,5):
    new_url = format(url%page)
#请求
    res = requests.get(new_url,headers=headers)
    #获取对象里面的文本
    html_str= res.text
    #转换数据类型
    selector = parsel.Selector(html_str)
    #找到对象里面的父级层
    list = selector.xpath('//div[@id="post-list"]/ul/li')
    #循环抓取
    for li in list:
        #对象标题
        titele=li.xpath('.//h2/a/text()').get()
        #对象数据链接
        wangzhe=li.xpath('.//h2/a/@href').get()
        print(titele,wangzhe)
        #判读添加文件
        if not os.path.exists('wenming\\'+titele):
            os.mkdir('wenming\\'+titele)
            #获取对象链接里面的数据文本
        response_pic= requests.get(wangzhe,headers=headers).text
        #转换数据类型
        selector_2=parsel.Selector(response_pic)
        #找到链接里面的图片地址链接
        pic_url_list=selector_2.xpath('//div[@class="entry-content"]//img/@src').getall()
        #循环并发送请求
        for pic_url in pic_url_list:
            img_data=requests.get(pic_url,headers=headers).content
            #创建文件名
            file_name =pic_url.split('/')[-1]

             #chuanjia
            with open (f'wenming\\{titele}+{file_name}','wb')as f:
                f.write(img_data)
                print('保存完成',file_name)

 复制运行的时候可不要流鼻血.