爬取pixiv每日推荐

最新推荐文章于 2024-08-14 19:17:19 发布
最新推荐文章于 2024-08-14 19:17:19 发布
阅读量1w 收藏 42
点赞数 10
分类专栏： # Python爬虫实战 文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45826022/article/details/109406389
版权

文章目录

踩点

进入网站

在这里插入图片描述

我们一直往下拉，发现它是动态加载的。
一直往下滑，发现只能加载 500 个图片，说明每日推荐一天500张，好家伙

爬取单张图片

我们先点击一张图片进去

在这里插入图片描述

发现图片可以放大

在这里插入图片描述

那我们肯定是要获取像素高的图片了
按F12查看一下网页

在这里插入图片描述

我们发现这个网址就是原图！

在这里插入图片描述

获取一下这个网页代码，保存到txt文档中。

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36',
    'referer': 'https://www.pixiv.net/ranking.php?mode=daily&content=illust',
}

url = 'https://www.pixiv.net/artworks/85300112'
response = requests.get(url, headers=headers)
f = open('M:/a.txt', 'wb')
f.write(response.text.encode('utf8'))
f.close()

复制一下刚刚找到的原图网址，看看能否在txt中找到：

在这里插入图片描述

找一下关系，诶，我们发现该网址前面的键为original，复制一下搜索original，只有三个匹配结果，对比三个结果发现其余两个一个是大写，一个不带引号，因此 "original"我们可以根据这个东西，使用正则直接将原图网址提取出来。

在这里插入图片描述

我们用正则提取一下原图网址：

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36',
    'referer': 'https://www.pixiv.net/ranking.php?mode=daily&content=illust',
}

url = 'https://www.pixiv.net/artworks/85300112'
response = requests.get(url, headers=headers)

picture = re.search('"original":"(.+?)"},"tags"', response.text)
print(picture.group(1))

结果如下：成功提取到原图地址！

在这里插入图片描述

获取到原图地址后，我们将图片下载保存一波：

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36',
    'referer': 'https://www.pixiv.net/ranking.php?mode=daily&content=illust',
}

url = 'https://www.pixiv.net/artworks/85300112'
response = requests.get(url, headers=headers)

picture = re.search('"original":"(.+?)"},"tags"', response.text)
print(picture.group(1))

pic = requests.get(picture.group(1), headers=headers)
f = open('M:/1.%s' % (picture.group(1)[-3:]), 'wb')
f.write(pic.content)
f.close()

成功获取！

在这里插入图片描述

我们发现自己命名好难受，再把图片名字提出来，在刚刚获取到原图网址的地方，往上看一下，找到了 "illustTitle" ，查找一下，发现这个键也是唯一的，真好 ，那我们在写个正则把图片名字爬下来。

在这里插入图片描述

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36',
    'referer': 'https://www.pixiv.net/ranking.php?mode=daily&content=illust',
}

url = 'https://www.pixiv.net/artworks/85300112'
response = requests.get(url, headers=headers)

name = re.search('"illustTitle":"(.+?)"', response.text)
print(name.group(1))
picture = re.search('"original":"(.+?)"},"tags"', response.text)
print(picture.group(1))

pic = requests.get(picture.group(1), headers=headers)
f = open('M:/%s.%s' % (name.group(1), picture.group(1)[-3:]), 'wb')
f.write(pic.content)
f.close()

运行成功

在这里插入图片描述

将获取单张图片的代码写成一个函数：

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36',
    'referer': 'https://www.pixiv.net/ranking.php?mode=daily&content=illust',
}
# 保存路径
path = 'M:/'


def getSinglePic(url):
    response = requests.get(url, headers=headers)
    # 提取图片名称
    name = re.search('"illustTitle":"(.+?)"', response.text)
    # 提取图片原图地址
    picture = re.search('"original":"(.+?)"},"tags"', response.text)
    pic = requests.get(picture.group(1), headers=headers)
    f = open(path + '%s.%s' % (name.group(1), picture.group(1)[-3:]), 'wb')
    f.write(pic.content)
    f.close()

换个图片测试一下：

url = 'https://www.pixiv.net/artworks/85317626'
getSinglePic(url)

没有问题：

在这里插入图片描述

获取日推所有图片网址

前面在踩点的时候，我们已经发现了这个网页是动态加载的，所以我们滑到最底下，去查看network

在这里插入图片描述

对比这几个包，我们发现每次请求的网址都是 https://www.pixiv.net/ranking.php?mode=daily&content=illust&p=?&format=json ，改变的只是p的值，一共获取了10个包，每个包里面有50个图片，所以我们直接请求这个网址，把p从1枚举到10，便可以获取到500张图片的信息！

  • 但是我们究竟该提取什么东西呢 ？
    在这里插入图片描述
  • 我们展开单个图片，看到了两个图片地址，然而点进去发现图片不是原图，像素太差
  • 我们前面已经实现了单张图片的抓取，我们只需要提取到所有这500张图片对应的地址，就可以直接获取到原图了。
  • 但是没有找到图片地址，我们点开几张图片进去，看一下网址，
https://www.pixiv.net/artworks/85311013
https://www.pixiv.net/artworks/85318602
https://www.pixiv.net/artworks/85316875
  • 发现只有后面的数字发生了变化，而后面这个数字

在这里插入图片描述

  • 正是 illust_id，所以我们只需要提取到所有的 illust_id 即可！

我们查看一下 illust_id 的位置

在这里插入图片描述

搜索一下，发现正好50个！

在这里插入图片描述

直接上正则提取 illust_id

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36',
    'referer': 'https://www.pixiv.net/ranking.php?mode=daily&content=illust',
}

url = 'https://www.pixiv.net/ranking.php?mode=daily&content=illust&p=10&format=json'
res = requests.get(url, headers=headers)
illust_id = re.findall('"illust_id":(\d+?),', res.text)
print(len(illust_id), illust_id)

输出结果，获取成功

在这里插入图片描述

拼接一下图片id，获取到图片网址

url = 'https://www.pixiv.net/ranking.php?mode=daily&content=illust&p=10&format=json'
res = requests.get(url, headers=headers)
illust_id = re.findall('"illust_id":(\d+?),', res.text)
picUrl = ['https://www.pixiv.net/artworks/' + i for i in illust_id]

for i in picUrl:
    print(i)

输出，成功

在这里插入图片描述

下载所有图片

将获取所有图片的代码写成一个函数，并直接在函数里面调用下载图片的函数

def getAllPicUrl():
    count = 1
    for n in range(1, 10 + 1):
        url = 'https://www.pixiv.net/ranking.php?mode=daily&content=illust&p=%d&format=json' % n
        response = requests.get(url, headers=headers)
        illust_id = re.findall('"illust_id":(\d+?),', response.text)
        picUrl = ['https://www.pixiv.net/artworks/' + i for i in illust_id]
        for url in picUrl:
            print('正在下载第 %d 张图片' % count, end='   ')
            getSinglePic(url)
            print('下载成功', end='\n')
            count += 1
    return None

运行测试一下

getAllPicUrl()

完美运行

在这里插入图片描述

在这里插入图片描述

总代码(不是)

import requests
import re

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36',
    'referer': 'https://www.pixiv.net/ranking.php?mode=daily&content=illust',
}
# 下载路径
path = 'M:/'


def getSinglePic(url):
    response = requests.get(url, headers=headers)
    # 提取图片名称
    name = re.search('"illustTitle":"(.+?)"', response.text)
    # 提取图片原图地址
    picture = re.search('"original":"(.+?)"},"tags"', response.text)
    pic = requests.get(picture.group(1), headers=headers)
    f = open(path + '%s.%s' % (name.group(1), picture.group(1)[-3:]), 'wb')
    f.write(pic.content)
    f.close()


def getAllPicUrl():
    count = 1
    for n in range(1, 10 + 1):
        url = 'https://www.pixiv.net/ranking.php?mode=daily&content=illust&p=%d&format=json' % n
        response = requests.get(url, headers=headers)
        illust_id = re.findall('"illust_id":(\d+?),', response.text)
        picUrl = ['https://www.pixiv.net/artworks/' + i for i in illust_id]
        for url in picUrl:
            print('正在下载第 %d 张图片' % count, end='   ')
            getSinglePic(url)
            print('下载成功', end='\n')
            count += 1
    return None


getAllPicUrl()
  • 正在高兴的下载着 ，结果。。。。
    在这里插入图片描述

在这里插入图片描述

看看报错信息。路径名非法，文件不能以****.jpg命名 ？
去文件夹查看一下。
卧twii’j’w!@1

在这里插入图片描述

既然如此，那么我们就把不合法的名字替换掉

# 全局变量
repeat = 1


name = re.search('"illustTitle":"(.+?)"', response.text)
    name = name.group(1)
    if re.search('[\\\ \/ \* \? \" \: \< \> \|]', name) != None:
        name = re.sub('[\\\ \/ \* \? \" \: \< \> \|]', str(repeat), name)
        repeat += 1

再次运行，发现已经没了问题

在这里插入图片描述

总代码(撒花)

import requests
import re

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36',
    'referer': 'https://www.pixiv.net/ranking.php?mode=daily&content=illust',
}

path = 'M:/'
repeat = 1


def getSinglePic(url):
    global repeat
    response = requests.get(url, headers=headers)
    # 提取图片名称
    name = re.search('"illustTitle":"(.+?)"', response.text)
    name = name.group(1)
    if re.search('[\\\ \/ \* \? \" \: \< \> \|]', name) != None:
        name = re.sub('[\\\ \/ \* \? \" \: \< \> \|]', str(repeat), name)
        repeat += 1
    # 提取图片原图地址
    picture = re.search('"original":"(.+?)"},"tags"', response.text)
    pic = requests.get(picture.group(1), headers=headers)
    f = open(path + '%s.%s' % (name, picture.group(1)[-3:]), 'wb')
    f.write(pic.content)
    f.close()


def getAllPicUrl():
    count = 1
    for n in range(1, 10 + 1):
        url = 'https://www.pixiv.net/ranking.php?mode=daily&content=illust&p=%d&format=json' % n
        response = requests.get(url, headers=headers)
        illust_id = re.findall('"illust_id":(\d+?),', response.text)
        picUrl = ['https://www.pixiv.net/artworks/' + i for i in illust_id]
        for url in picUrl:
            print('正在下载第 %d 张图片' % count, end='   ')
            getSinglePic(url)
            print('下载成功', end='\n')
            count += 1
    return None

getAllPicUrl()
Eloik
关注
专栏目录
[Python] pixiv排行榜爬取【源码+成品】
Zeaf的博客
10-04 2399
虽然说是爬取pixiv，但因为原站要梯子很不方便，所以找了个第三方网站间接爬取，网页样式和原网站应该是差不多的。 附上第三方网站：https://pixivic.com/ 写代码过程中遇到了两个之前没碰到过的问题： 一、异步加载 浏览该网站就可以知道，它的图片并不是一次性就加载完的，而是需要到达底部再更新。 （这就导致拿爬虫直接访问该网站一张图片地址都获取不到，因为它第一次加载图片都是异步加载） 解决这个问题实际上还是通过抓包，分析加载新的图片时需要什么，很容易地我们找到了以下网址，并注意到它的数据更新.
Java+Jsoup: 爬取二次元妹子图片并下载到本地（完整代码）
AsajuHuishi的博客
04-10 469
简介 这是一个基于Jsoup的用来爬取网页上图片并下载到本地的Java项目。 完整项目见 https://github.com/AsajuHuishi/CrawlByJsoup 环境 JDK 1.8 IntelliJ Idea 2020 Jsoup 1.13.1 目录结构 ├─saveImage │ ├─喵咕君QAQ(KH3) │ └─小逝lullaby └─src └─indi └─huishi ├─service // Crawl.java
爬虫图片网址
xiaoxiaodechongzi的博客
10-16 645
开机界面推荐的 图片库 windows开机界面 图虫 豆瓣 等一些UI设计提供参考,素材,灵感的网站 站酷 豆瓣美女图 用于爬虫入门教学来讲特别好,后来被封了!变成了buxiuse ,但是好像说访问不了,但是某些能访问 类似的美女图库有很多,一搜一大堆,不赘述. ...
【P站爬虫】用于下载单一作者所有图片的简易爬虫
最新发布
qzusergo的博客
08-14 560
需要修改：画手userid，你的cookie，你的user—agent，后两者均可以类似方法找到。注意：默认下载原图，下载缩略图部分的内容未更改，若有需要还请自行修改。进行了微小调整，用于批量下载单一画手的所有图片（包括多p内容）需要创建：在程序位置创建命名为“png”的文件夹。中的start值以继续下载，而非从头重新下载。中的'illusts'更改为‘manga’如遇网络波动导致程序中断，可以修改。如需下载漫画而非插图，可将。
爬取图片网站
qq_61190242的博客
09-13 1825
图片网址：图片 / 国内cos-Cosplay中国|Cosplay图片|COS图片|动漫图片图片 / 国内cos_Cosplay中国|动漫图片|模型图片|美女图片|私房写真http://www.cosplay8.com/pic/chinacos/ 网站介绍：是一个 Cos 网站，该类网站很容易消失在互联网中，为了让数据存储下来，我们盘它。 源代码： import urllib.request from urllib.parse import urljoin from lxml import e...
【python】根据pixiv网站的图片url下载图片到本地
XavierJ的博客
11-01 9288
写在前面 pixiv是著名的插画网站。如果我们通过爬虫技术得到了pixiv网站图片的url，那么如何根据url下载图片到本地。 安装模块 pip install requests 测试样例 https://i.pximg.net/img-original/img/2019/11/22/00/00/13/77926406_p0.jpg 下载图片 import requests import urllib3 urllib3.disable_warnings(urllib3.exceptions.Insec
PixivNow：一站式Pixiv资源获取利器
gitblog_00062的博客
03-29 731
PixivNow：一站式Pixiv资源获取利器 项目地址:https://gitcode.com/FreeNowOrg/PixivNow 项目简介 PixivNow 是一个开源的、基于Web的工具，旨在帮助用户更轻松、便捷地浏览和下载日本知名插画社区Pixiv上的作品。它提供了友好的界面和强大的搜索功能，使得你可以快速找到并保存你喜欢的艺术作品。 技术分析 PixivNow 使用现代化的Web技...
用Python写一个爬取pixiv网站图片的爬虫
06-06
好的，以下是一个简单的爬取pixiv网站图片的Python爬虫： ```python import requests from bs4 import BeautifulSoup import os # 图片保存路径 save_path = "./pixiv_images" # 爬取页面的URL url = ...
记一次对Pixiv日榜的爬虫
owaranaiyume的博客
03-11 2379
Pixiv爬虫Pixiv是个啥爬虫过程 Pixiv是个啥 pixiv是一个以插图、漫画和小说、艺术为中心的社交网络服务里的虚拟社区网站。于2007年9月10日推出第一个测试版。公司总部位于日本东京都涩谷区千驮谷。pixiv创办初衷是为全球艺术家提供一个能发表他们的作品，并透过评级系统反应其他用户意见的地方。网站以用户投稿的原创图画为中心，辅以标签、书签、作品回应、排行榜等功能形成具有其特色的社交网络。 -----摘自 百度百科 爬虫过程 ps：由于pixiv的特殊性，访问该网站需要科学上网。 按照以往爬虫经
多进程爬取P站图片
刃心渐渐
04-18 2125
# coding=utf-8 import requests from lxml import etree import os import time # 导入线程池包 from concurrent.futures import ProcessPoolExecutor import random """ 这里我们直接爬取P站图片内容。 排行榜原始地址 https://i.pximg.net/ c/240x480 /img-master/img/2021/04/14/00/00/04/89135748.
用Python一晚上爬取P站几万张图片的详细教程
PYmili的博客
12-12 4918
使用Python的requests加re库爬取P站图片并下载，作者下载了47129页爬取到2万多站图片。爬取使用时间20小时。总共可以爬几十万多页的，但是太多了，博主只爬取了4万页就停止了。大家可以根据自己的需求爬取。
终于，我用Python爬虫批量保存了P站的靓图
z099164的博客
10-18 1916
今天我决定爬虫下 P站的图片，我们首先打开网站研究下。​不好意思，手抖打错了，应该是下面这个网站。​众所周知，插图网站 pixiv 别名叫 P站，所以今天我用爬虫批量保存二次元P站的靓图。​P站主要分为四个模块，插画、动图、漫画、小说，小说和漫画都是日文，看不懂，所以今天的目标就是插画和动图了。​今天就以插画为例，进入插画模块，我们先找到怎么下载单张插画的图片的方法，我们打开 F12 进入 Network，发现这个页面会返回每个插画的 id。​。
clcl.tv index.php,www.xxoommm.info
weixin_35057804的博客
03-12 1万+
Domain Name: XXOOMMM.INFORegistry Domain ID: D503300000032813918-LRMSRegistrar WHOIS Server: whois.namecheap.comRegistrar URL: www.namecheap.comUpdated Date: 2017-02-06T16:17:55ZCreation Date: 2017-02...
Pivix 站爬虫
qq_37561898的博客
01-21 2159
Python爬虫，p站爬虫
免费下载高清可商用的图片网站（整理集合）
追风2019
04-25 2万+
NO1. unsplash 网址：https://unsplash.com/ 介绍： 优点：例如数据库很庞大，定期更新，图片类型很丰富等等。 不足：中国区不挂VPN访问有时候会受限，或者速度比较慢。素材偏欧系，亚洲素材较少。 NO2. Pixabay 网址：https://pixabay.com/ 介绍： 优点：支持中文界面+中文检索。 不足：必须注册才能下载。 N...
优秀的PHP开源项目集合
热门推荐
郎涯技术
02-23 13万+
包管理Package Management Libraries for package and dependency management. Composer/Packagist – A package and dependency manager.Composer Installers – A multi framework Composer library instal
爬虫————stocksnap国外高清图片网站
weixin_44735928的博客
05-13 9785
爬虫文章分为两种爬取方式（网址和Ajax）！！！ 网站：https://stocksnap.io/ 1.使用网址（域名）去爬取图片（url:网址） 缺点：只能爬取没有Ajax部分的图片 import requests import os from lxml import etree def get_image_list_url(url): response = requests.get(url) html_ele = etree.HTML(response.text) image
高清图片网站
qq_50276105的博客
11-01 5622
免费的高清壁纸网站介绍。标签：免费，高清，壁纸，无需翻墙特点：素材多，网站支持中文显示。缺点：搜索不支持中文以上两个网站已经够用了，其他的壁纸网站后面再更新。注意：此部分网站多数需要翻墙查看。标签：免费，高清，动漫，无需翻墙特点：分类全面，不用翻墙，速度较快缺点：单页显示数量少标签：免费，高清，动漫，需翻墙特点：支持中文显示与搜索缺点：需要翻墙，需要注册标签：免费，高清，动漫，需翻墙特点：支持中文显示与搜索缺点：需要翻墙，需要注册标签：p站，动漫，需翻墙特点：支持中文显示与搜索。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值