python爬虫爬取某网站图片

本文介绍了作者初次尝试使用Python爬虫爬取一个图片网站的1080p图片的过程。通过解析HTML,获取图片的src链接,并使用requests.get方法访问图片。为了避免被禁止,爬虫每三秒访问一次页面。
摘要由CSDN通过智能技术生成

学习分享 | 今天刚学完爬虫,就随便写了一个爬虫代码爬取某网站的图片
网站就是这个图片网站,我选的是1080p格式,4k的要会员,我反正是还不会

导入的包如下

import requests
from bs4 import BeautifulSoup
import time

将网址转化为html文件的函数

def ask_url(url):
    # 模拟浏览器的头部信息
    head = {
   
        "User-Agent": "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit/537.36(KHTML, likeGecko) Chrome/70.0.3538.102Safari/537.36Edge/18.19041"
    }
    # 访问页面
    resp = requests.get(url, headers=head)
    resp.encoding = "gbk"

    # 将resp用BeautifulSoup处理并转为text得到主页面
    bs_resp = BeautifulSoup(resp.text, 'html.parser')
    return bs_resp

然后解析网站,一步一步获取图片的src链接,注意,由于网站的不同,图片的最终地址可能不同,但一般都是a标签里面的href链接,访问之后就会得到真正的图片src地址,当然有些网站还要再深入一层(比如我这个)

# 解析数据
def get_data(url):
    count = 0
    for item in range(0, 500)
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值