1-锋鸟网图爬虫

直接上代码!!!
在这里插入图片描述
这个爬虫还算成功,有没有大佬指导一下

# -*- coding: utf-8 -*-
import requests,re,os,time
from lxml import etree

if not os.path.exists('F:/python/7-100个爬虫/2-峰鸟网图'):
    os.mkdir('F:/python/7-100个爬虫/2-峰鸟网图')
def picture_url():
    urls = 'http://bbs.fengniao.com/forum/forum_101.html'
    page_text = requests.get(url=urls).text
    tree = etree.HTML(page_text)
    url_name = tree.xpath('/html/body/div[8]/ul/li/h3/a/@title')
    url_page = tree.xpath('/html/body/div[8]/ul/li/h3/a/@href')
    for i,j in zip(url_name,url_page):
        if not os.path.exists(f'F:/python/7-100个爬虫/2-峰鸟网图/{i}'):
            os.mkdir(f'F:/python/7-100个爬虫/2-峰鸟网图/{i}')
        download(i,'http://bbs.fengniao.com'+j)
    print('下载完成!!!')

def download(i,url):
    headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
    page_text = requests.get(url=url,headers=headers).text
    data_url = re.findall(r'(https://bbs.qn.img-space.com.*?.jpg)\?',page_text)
    a = 0
    for j in data_url:
        a+=1
        data = requests.get(url=j).content
        with open(f'F:/python/7-100个爬虫/2-峰鸟网图/{i}/{a}.jpg','wb') as wj:
            wj.write(data)
            print(f'{a}.jpg下载完成!!!')
            time.sleep(0.5)
            
if __name__ == '__main__':
    picture_url()
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值