堆糖网 爬取图片

最新推荐文章于 2024-08-04 08:29:31 发布
最新推荐文章于 2024-08-04 08:29:31 发布
阅读量2.4k 收藏 2
点赞数 1
分类专栏： 学习python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Z_Vixerunt/article/details/78411780
版权

堆糖是一个很有生活情调的网站，上面有很多好看的图片有意思的分享，作为一个资深菜鸟今天，分享一小段代码爬取堆糖上的好看图片~分享思路给初学者~

前几天刚学爬虫的时候就迫不及待的复制网址然后粘贴进requests.get()里试图得到成千上万的好看图片，然后现实很尴尬，我只能得到24张图片！并且修改了网址之后，也就是添加了page=2 page=3之后，下载到的依然是第一页的24张图，第二页之后下不到！菜鸡的我直接傻掉了。。

几天之后我又打开了这里开始分析：


因为今天是万圣节，所以搜索关键字kw设置成了万圣节~然后有个参数start=24，似乎和我下载下来的图片数量一致！别的参数看不懂！然后继续下拉网页...



似乎发现了什么..然后翻页之后发现变化的依然只有start的值，每次刷新增加24，以及最下面那个参数每次加1(我不知道是什么)，这里并没关于page的参数。由此我们可以构造URL试试看！

测试了一下请求成功！那剩下的就简单了。简单分析一下得到的json字符串就可以找到图片的URL了，在photo里面：


这里是提取图片URL并下载的(我写的渣)代码(然后宅男们就可以...)：

Z_Vixerunt
关注
专栏目录
【爬虫】堆糖图片爬取
无水wangyang
10-22 2996
堆糖上面的图片一直是我打算爬一下的，但说着说着就忘了这么一回事-_-|| 今天正好想起来，就麻利儿的把这件事给搞定了。 话不多说，先上成果。   接着说思路，代码在最后面。 最开始，我以为堆糖是那种一页一页显示图片的，就下意识地按照其他方法去爬了，结果写完才发现堆糖的结果显示是需要下拉刷新的，所以这里就有两份不同的代码。 为了以后自己查看自己的文章方便，这里就不记述静态爬取的过...
python爬取美女图片
weixin_42340241的博客
02-01 1496
python爬取美女图片 完整代码： import requests import urllib.parse import json import jsonpath import os #https://www.duitang.com/napi/blog/list/by_search/?kw=%E5%8F%AF%E7%88%B1&type=feed&include_fields=t...
Python爬取堆糖网图片的代码
Ljt101222的博客
07-20 854
import requests import urllib.parse import threading #设置最大线程锁 thread_lock = threading.BoundedSemaphore(value=10) # 通过 url 获取数据 def get_page(url): page = requests.get(url) page = page.conten...
随身助手271个可用api接口网站php源码（随身助手API）
最新发布
jiyc2008的博客
08-04 1万+
源码简介： 随身助手API，本次更新了271个可用接口，现在开源给大家使用，无后门无加密，放心使用。 {“标题”:”看图猜成语接口”,”小标题”:”随身助手API”,”地址”:”tianyi/LookIdiom.php”,”状态”:”正常”} {“标题”:”头像框生成接口”,”小标题”:”加个炫酷的头框嘛?很多种类哦~”,”地址”:”tianyi/tksc.php”,”状态”:”正常”} {“标题”:”每日一句接口”,”小标题”:”随身助手API”,”地址”:”tianyi/mryy.php”,”状态”
python爬取“堆糖网”小姐姐 图片
发光吖的博客
06-29 4495
在堆糖网官网首页上搜索关键字：小姐姐 我们往下翻，发现它的图片内容是通过瀑布流来动态加载的。 静态网页中会有24张图片，查看源代码，也仅仅发现只有24张图片。 初步分析，其他图片应该是通过数据包的形式去动态请求的。 打开开发者工具，选择 Network->XHR 鼠标滚轮往下滑，捕获到一个数据包： 果不其然，它里面包含了我们需要的数据： 该数据包的请求地址，太长了： 我们仅仅需要的是图片，所以有很多参数我们不需要。 所以，我们删减去一部分，只剩下kw和start即可，kw是我们搜索的关键字，s
零基础爬取堆糖网图片（一）
Mark_Coder的博客
11-12 384
首先是一个美图壁纸兴趣社区，有大量的图片今天我们实现搜索关键字爬取堆糖网上相关的美图。当然我们还可以实现多线程爬虫，加快爬虫爬取速度。
爬虫小项目（四）利用多进程和ajax技术爬取堆糖
huangguangyourena的博客
02-27 334
这次主要讲一下怎么分析ajax请求来获得我们想要的数据，在通过多进程进行抓取，当然这次的目的主要是这两个，所以最后的结果是以打印在控制台为主。那么让我们开始这一次的爬虫之旅我们先进入堆糖网，这次我们要爬取的是我的女神，新垣结衣的图片。我们看到大致的页面长这样。需要注意的是我们在往下拉的过程会不断的加载出新的图片，也就是说我们没办法直接通过普通的request和bs4来得到我们想要的一整个页面的图片...
仿堆糖网java源码-awesome_ios:真棒_ios
06-06
仿糖堆网java源码 关于 精选的 iOS 框架、库、教程、Xcode 扩展和插件、组件等的精选列表。 该列表分为框架、组件、测试等类别、开源项目、免费和付费服务。 每个类别中的项目没有预先确定的顺序，顺序是为了贡献。 ...
仿堆糖网java源码-awesome-ios:真棒-ios
06-06
仿糖堆网java源码 关于 精选的 iOS 框架、库、教程、Xcode 扩展和插件、组件等的精选列表。 该列表分为框架、组件、测试等类别、开源项目、免费和付费服务。 每个类别中的项目没有预先确定的顺序，顺序是为了贡献。 ...
仿堆糖网java源码-Awesome-iOS--:Awesome-iOS-中文版
06-06
仿堆糖网java源码 Awesome-iOS-中文版 我们的时事通讯!! :check_mark_button::rocket::newspaper: 关于 这是一个精选的iOS框架、库、教程、Xcode插件和插件、组件等等。该列表分为框架、组件、测试等类别，开放源...
Python爬取动态加载的网站图片
weixin_51211600的博客
10-04 3282
第一篇爬取的是静态网页，静态图片的网站，说实话，是最简单的，今天咱们就爬取一下动态的网站。 话不多说，目标网址：堆糖网 https://www.duitang.com/search/?kw=%E6%A0%A1%E8%8A%B1&type=feed 首先，要分析一下网站，发现这个网站的网址没有变化，当鼠标往下滑的时候，每滑到一定数量的图片的时候会再次加载新的图片 ...
爬取堆糖图片
05-15
爬取堆糖网站的蜜桃猫图片，并保存到本地，通过requests库爬取
[python][project][爬虫] 堆糖网图片下载
阿呆的小虫
07-05 870
本文总结了在堆糖网下载图片的方法。 代码如下： #-*- coding: utf-8 -*- import requests import re from bs4 import BeautifulSoup import time import os.path import sys import urllib if __name__ == "__main__": Search
python scrapy第一弹--爬取好看的堆糖头像
温华的博客
06-15 1398
目标爬取堆糖头像，适合练手 堆糖的图片是真的好看啊，虽然女性用户较多，但是真的好看！所以想抓些头像来，这样子就不用愁换头像啦！ 因为要爬取大量的图片，所以这次用的是python的scrapy框架，正好熟悉一下强大的scrapy 由于我的电脑上同时装了Python2和Python3，所以创建scrapy项目时需要注意，有问题的朋友可以参考我之前的一篇博文：解决scrapy创建项目时报错 ...
python爬虫 - 爬取堆糖图片
Venusing1998的博客
02-05 808
堆糖网上储存着许多照片，现在就利用python来下载照片。 打开搜索栏，搜索book，发现有许多照片，打开链接，再点击照片，得到类似https://b-ssl.duitang.com/uploads/item/201205/02/20120502002005_Aja53.jpeg的网址，这个就是照片的真正地址。 网页已经找到，但是搜索结果多么多图片，不能每一张都点进去，寻找真正网址来下载，...
使用xpath批量爬取堆糖图片
nadoudou123的博客
09-27 404
import requests from lxml import etree kw = input("输入搜索的关键字：") url = "https://www.duitang.com/search/?kw={}&type=feed".format(kw) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/9.
Python批量爬取堆糖网图片
qq_40256654的博客
11-11 647
import urllib.parse import requests #第三方请求库 import json import jsonpath #处理json文件的的提取库 from bs4 import BeautifulSoup import os import urllib import re label = 'AI' label = urllib.parse.quo...
爬虫03 爬取堆糖图片并保存到本地
青阳十五的专栏
08-31 1051
# -*- coding: utf-8 -*- import urllib import urllib2 import re i=0 page = 1 url = 'http://www.duitang.com/album/?id=80174265' user_agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:47.0) Gecko/20100101 Fi
python3网络爬虫（堆糖网）
wuyou5566的博客
07-28 1129
利用py3进行堆糖网图片爬取
基于眼底彩照对糖网进行分类
06-10
基于眼底彩照对糖网进行分类的方法主要是利用深度学习技术，比如卷积神经网络（CNN）进行图像分类。具体来说，可以采用以下步骤： 1. 数据预处理：将眼底彩照进行预处理，包括图像增强、图像剪裁、图像缩放等操作，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值