爬虫学习-第一弹-批量下载二次元好图

本文记录了作者初次尝试爬虫的经历,使用Python爬取Konachan网站上的二次元壁纸。在过程中遇到了如何找到每张图片链接、二进制写入文件时忽略文件格式以及路径格式等问题,逐一解决后成功批量下载图片。作者通过这次实践深化了对爬虫流程的理解,包括伪装UA、寻找URL、爬取和持久化存储,并感受到将兴趣与专业结合带来的学习乐趣。
摘要由CSDN通过智能技术生成

这个暑假刚刚接触爬虫,通过看b站视频学到了用request爬取图片的方法,之后就一直想着爬点自己想看的图片。正巧今天下午无事可做,决定试一试自己写一个。

图片的网站:/ | konachan.net - Konachan.com Anime Wallpapers

import requests
import re
import os

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 Edg/92.0.902.67"
}

message = input('enter the name of your wife!')
pages = input("How many pages?")
if not os.path.exists(f'./{message}Libs'): 
    os.mkdir(f'./{message}Libs') 

for page in range(1,int(pages)+1):
    para = {
        'page': page,
        'tags': message,
    }
    url = f'https://konachan.net/post?page={page}&tags={message}'
    page_text = requests.get(url = url, headers= headers).text
    ex ='<
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值