python3下载百度图片，动态更新的怎么下，找ajax规律，自动下载百度图片函数

最新推荐文章于 2022-11-20 14:02:46 发布
最新推荐文章于 2022-11-20 14:02:46 发布
阅读量207 收藏
点赞数
分类专栏： python爬虫学习 文章标签： 爬取动态更新图片
小 白 蒋
本文链接：https://blog.csdn.net/weixin_37413070/article/details/103038898
版权

python -V 3.6
用python3下载百度图片几百张的时候，怎么处理呢？下载动态更新页面图片

  1. 分析网页变化的规律
  2. 然后找出有用的url
    打开百度图片，输入查找的图片，打开F12调试工具，选中XHR，然后动态往下拖鼠标，显示出更多的图片，发现下面的url就只有pn在变化，一开始30，然后60，90.。。。。其实啊，就是百度图片，一次出来30张，在往下拉鼠标，又出来30，这样就找到了动态变化的url。在这里插入图片描述
import requests,os,re
from urllib import parse


a = '欧阳娜娜'
b = parse.quote(a)    # 中文转url字符

headers = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Mobile Safari/537.36',
    'Referer': 'http://image.baidu.com/search/index?tn=baiduimage&ps=1&ct=201326592&lm=-1&cl=2&nc=1&ie=utf-8&word={}'.format(b),
}
# 找ajax规律，找下百度图片，刷新规律，发现就是pn变化，第一次就是30，第二次就是60
page_url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord={}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=&copyright=&word={}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&pn={}&rn=30&gsm=&1573561491315='


i = 1
def f1(url):
    global i
    image_url = url.format(b,b,i*30)
    res = requests.get(url=image_url,headers=headers)
    res.encoding = 'utf-8'
    imag_urls = re.findall(r'"thumbURL":"(.*?)"',res.text)

    for index,image_url in enumerate(imag_urls):
        image_res = requests.get(url=image_url, headers=headers)
        file1 = './%s/' % a
        if not os.path.exists(file1):
            os.mkdir(file1)
        file2 = '%s%s.%s' % (a,(i-1)*30+index,image_url.split('.')[-1])
        file = file1+file2
        with open(file,'wb') as f:
            f.write(image_res.content)

    print('第%s页下载完成' % i)
    i += 1
    if i == 10:     # 判断条件，如果到第10终止
        exit()
    next_url = url.format(b,b,i*30)
    f1(next_url)

f1(page_url)

运行结束：
在这里插入图片描述

下面把这个写成了一个类，只需要输入下载图片的名字，和需要下载几页

#作者：小白jiang
#联系：bk_jiang@163.com
#csdn：https://blog.csdn.net/weixin_37413070

import requests,os,re
from urllib import parse
from UserAgents import getheaders

class DownBaiduPicture():
    def __init__(self,a,i):
        self.url ='https://image.baidu.com/search/acjson?tn=resultjson_com&ipn' \
                  '=rj&ct=201326592&is=&fp=result&queryWord={}&cl=2&lm=-1' \
                  '&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=&copyrig' \
                  'ht=&word={}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc' \
                  '=1&fr=&expermode=&force=&pn={}&rn=30&gsm=&1573561491315='
        self.a = a
        self.i = i
        self.n = 0
        self.b = self.b = parse.quote(self.a)
        self.urls_list = []

    def generate_url_download(self):
        for i in range(int(self.i)):
            print(type(self.i))
            self.urls_list.append(self.url.format(self.b, self.b, (int(self.i)+1) * 30))

        print(self.urls_list)
        for j in self.urls_list:
            self.down_function(j)
        return '下载完成'

        

    def down_function(self,url):

        headers = {
            'User-Agent': getheaders(),
            'Referer': 'http://image.baidu.com/search/index?tn=baiduimage&ps=1&ct='
                       '201326592&lm=-1&cl=2&nc=1&ie=utf-8&word={}'.format(
                self.b),
        }

        res = requests.get(url=url, headers=headers,verify=False)
        res.encoding = 'utf-8'
        imag_urls = re.findall(r'"thumbURL":"(.*?)"', res.text)

        for index, image_url in enumerate(imag_urls):
            image_res = requests.get(url=image_url, headers=headers)
            file1 = './%s/' % self.a
            if not os.path.exists(file1):
                os.mkdir(file1)
            file2 = '%s%s.%s' % (self.a, (int(self.n)) * 30 + index, image_url.split('.')[-1])
            print(file2)
            file = file1 + file2
            with open(file, 'wb') as f:
                f.write(image_res.content)
        self.n += 1
        print('第%s页下载完成' % (self.n))

用的随机请求头 UserAgents

# -*-coding:utf-8 -*-
#作者：小白jiang
#联系：bk_jiang@163.com
#csdn：https://blog.csdn.net/weixin_37413070

import random

# 返回一个随机的请求头 headers
def getheaders():
    # 各种PC端
    user_agent_list_2 = [
        # Opera
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60",
        "Opera/8.0 (Windows NT 5.1; U; en)",
        "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50",
        # Firefox
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
        "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
        # Safari
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",
        # chrome
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",
        # 360
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko",
        # 淘宝浏览器
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
        # 猎豹浏览器
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
        # QQ浏览器
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
        # sogou浏览器
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)",
        # maxthon浏览器
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36",
        # UC浏览器
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36",
    ]
    # 一部分 PC端的
    user_agent_list_1 = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
    ]
    user_agent_list = user_agent_list_1 + user_agent_list_2
    UserAgent = random.choice(user_agent_list)
    return UserAgent

print(getheaders())
小白蒋博客
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python爬虫实现百度图片自动下载
09-20
主要介绍了Python爬虫实现百度图片自动下载的方法以及相关代码分析，对此有兴趣的朋友参考下。
站在知乎肩上－做更强的自己(2)
pcj2007的专栏
01-11 1万+
阶段３假说：牛Ｂ的人，收藏的答案也比较有质量 更多的牛人信息，拿走不谢．top1000，已经很多了．不过我倒是觉得排名数百以后，往往也是有干货的．好了，至此解决了下载谁的问题．note: 这不是基于全部信息得出的top，只是爬虫搜索到的样品空间的排名．有片面性．Q：怎么用这个排名信息找人了？A: 例子来说明一下：$1043 id:迪士尼用户标识 1 href:/org/di-shi-ni-2
1300常用字典免费送
最新发布
p525525的博客
11-20 6万+
以上是爆破字典全文，喜欢关注一下
突破网站防盗链百度接口
weixin_30823833的博客
09-20 227
有时访问一些网站 会受到防盗链限制 拿不到自己想要的 今天发现了一个百度的突破防盗链接口 已经测试有效 https://image.baidu.com/search/down?tn=download&url= 转载于:https://www.cnblogs.com/asas/p/9681119.html...
python的plot如何实时更新_基于Python实现matplotlib中动态更新图片(交互式绘图)
weixin_39759182的博客
11-23 853
最近在研究动态障碍物避障算法，在Python语言进行算法仿真时需要实时显示障碍物和运动物的当前位置和轨迹，利用Anaconda的Python打包集合，在Spyder中使用Python3.5语言和matplotlib实现路径的动态显示和交互式绘图（和Matlab功能类似）。Anaconda是一个用于科学计算的Python发行版，支持 Linux, Mac, Windows系统，提供了包管理与环境管理...
Flask实现图片的上传、下载及展示示例代码
09-20
在本文中，我们将探讨如何使用Python的Flask框架实现图片的上传、下载及展示功能。Flask是一个轻量级的Web服务器网关接口（WSGI）Web应用框架，非常适合构建小型到中等规模的Web应用程序。 首先，让我们来看一下...
python爬取Ajax动态加载网页过程解析
12-26
1、构造自己IP代理池,每次访问随机选择代理,经常更新代理池 2、购买开放代理或私密代理IP 3、降低爬取的速度 3、User-Agent限制 ：类似于IP限制 解决方案: 构造自己的User-Agent池,每次访问随机选择 5、对查询参数或...
python 实现上传图片并预览的3种方法(推荐)
09-21
4. 上述代码会将图片保存到MEDIA_ROOT下的avatars目录，并返回图片的完整URL，供前端使用。 总结起来，Python实现上传图片并预览的功能，主要有以下关键点： - 前端使用HTML的`<input type="file">`让用户选择图片...
Python3爬虫中关于Ajax分析方法的总结
09-16
在Python3爬虫中，Ajax（Asynchronous JavaScript and XML）技术常用于动态加载网页内容，使得用户在不刷新整个页面的情况下获取新数据。在处理这类网站时，理解如何分析Ajax请求是至关重要的。以下是对Ajax分析方法...
Ajax-Django-sqlite3-搜索自动补全的功能
03-31
本项目“Ajax-Django-sqlite3-搜索自动补全的功能”旨在模拟百度搜索引擎的自动补全特性，利用Ajax、Django框架和sqlite3数据库来实现这一目标。下面我们将深入探讨这个项目涉及的技术点和实现步骤。 首先，Ajax...
python matpoltlib绘制动态图_python之matplotlib学习绘制动态更新图实例代码
weixin_39707478的博客
11-20 308
简介通过定时器Timer触发事件，定时更新绘图，可以形成动态更新图片。下面的实例是学习《matplotlib for python developers》一文的笔记。实现实现代码及简单介绍通过self.user = self.user[1:] + [temp]，每次删除列表的第一元素，在其尾部添加新的元素。这样完成user数据的动态更新。其他详细的解释见文中的注释部分。#-*-coding:utf...
动态规律查找
seTaire的博客
08-21 676
如何用程序得到一组数字的动态规律，前提已知该规律只有加法。 例如：1, 2, 3, 11, 12, 13, 21, 22, 23, 31, 32, 33, 41, 27, 37, 47, 67 可直观的发现这几组规律： [1, 2, 3], [11, 12, 13], [21, 22, 23], [31, 32, 33] 和 [27], [37], [47] 下面用代码实现： a = [...
超级简单的抓取网页中动态内容的方法
weixin_33947521的博客
02-23 1491
为什么80%的码农都做不了架构师？>>> ...
Python爬取百度图库
小白
03-20 1731
Python爬取百度图库 页面分析 通过Chrome 的开发者模式，我们可以很发现 百度图库是通过ajax 加载图片的。 每一次都会发送一个请求：https://image.baidu.com/search/acjson?tn=resultjson_com&amp;ipn=rj&amp;ct=201326592&amp;is=&amp;fp=result&amp;queryWord=%E6...
python tkinter画笑脸_python tkinter GUI绘制,以及点击更新显示图片代码
weixin_39801991的博客
11-20 226
tkinter 绘制GUI简单明了，制作一些简单的GUI足够，目前遇到的一个问题是不能同时排列显示多幅图片（目前没找到同时显示解决方法），退而求其次，改成增加一个update按钮，每次点下按钮自动更新图片，注释掉的部分是原来的内核包，替换成自己的程序即可import tkinter as tkfrom tkinter import *from tkinter import ttkfrom urll...
Python3实现批量下载百度搜索图片
AI吃大瓜的博客
12-06 5304
 Python3实现批量下载百度搜索图片 目录  Python3实现批量下载百度搜索图片 1.通过关键字下载百度搜索的图片 2.根据链接URL下载图片 1.通过关键字下载百度搜索的图片      在别人的代码基础做了修改，增加了关键字word定义，下载图片数量的imageNum设置，以及图像保存路径和名字的设置，需要requests模块的支持，直接使用pip安装即可，命令：pip in...
Python爬取100张狗狗图片
aaassslll147的博客
03-26 2052
import requests import json flag=True n=0 n2=0 while(flag): url='https://image.baidu.com/search/acjson?' \ 'tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&' \...
20130829可注册域名列表
热门推荐
落寞红尘
08-29 32万+
absnn.com acaox.com acetg.com acfcn.com acogb.com acrng.com adcoh.com adeih.com adiqc.com adnsh.com adzex.com aeeye.com agcfq.com ahuaw.com aigup.com aineu.com aingu.com akbra.com ak
python简单爬虫
cc的博客
04-06 492
参考博文１），实现了一个简单的爬虫，爬取一个网页上的图片，后面有时间，再学习用beautifulSoup爬取所有网页的图片. #!usr/bin/env python # -*- coding:utf-8 -*- """ @author:cc @file: scraper_test0.py @time:2017/04/02 """ # urllib.request.urlope
Python第3版学习指南：全面入门与资源下载
该电子书共计六百多页，覆盖了Python语言的基础知识到进阶主题，包括但不限于语法结构、数据类型、控制流程、函数、模块和包、面向对象编程等内容。对于新手来说，这本书不仅有助于建立坚实的Python基础，还能引导...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白蒋博客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值