对于Pixiv的一些技术分析【个人笔记】

图片爬取

这段时间一直在研究有关Pixiv的图片爬取的问题
以下呢，是我目前遇到过的问题

• 通过链接无法爬取图片
• 绕过Pixiv登录人机检测

其中困惑了我比较久的是图片链接为什么不见了这个问题。
我曾写过一个Python脚本用于爬取图片，在爬其他网站时一切正常，但一旦尝试爬取Pixiv的图片时就报错HTTP 403。

如果使用浏览器在登录的状态下选择“保存图片至本地”，便可以正常的保存图片，但复制图片的链接来进行下载的话就跳转到403了。

推测是因为Pixiv需要登录，才能够通过这个链接下载图片。
但是问题是在一个已登录的浏览器中，直接访问图片链接同样也是无法访问的。

这里提出几点假设。

1.将脚本登录之后再尝试是否可以访问

2.用web调试台抓取点击下载之后的数据包

3.无账号访问图片的作品链接并查看图片下载链接

4.图片有可能经过Base64加密并存放在某json数据中

我先一个个试一下，这个文章会持续更新。

---

最近尝试了一下，发现并无任何高端防治手段，只需要在Headers内添加Referer即可，即

GET / HTTP/1.1

Host:网址

Referer: 加上了http协议的完整网址链接

其他内容

---

只通过Referer判断是否是正常请求，其实也算是一种偷懒吧。