python爬取百度图片（动态页面）

最新推荐文章于 2024-02-16 13:23:03 发布
最新推荐文章于 2024-02-16 13:23:03 发布
阅读量2.2k 收藏 29
点赞数 12
分类专栏： python学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42401369/article/details/89227447
版权

前言

现在百度图片加载并不是一页一页地加载出来的，直接请求得到的 HTML 代码里面，并没有我们需要的数据，因为这些信息是通过Ajax加载的，并且通过js渲染生成的。在爬取动态页面时，我们就需要分析这个网页的请求了。

大家可以先跳到代码部分先执行，观看效果

分析Ajax请求

打开百度图片搜索页面：地址
我们可以看到这个网页并没有翻页按钮，而当我们一直往下拉请求，网页会自动的给我们加载出更多内容，显然我们只能获得到第一页的html内容。

在这里插入图片描述 那我们要怎么获得所有页的数据呢？
我们在Chrome中打开开发者工具(F12)。我们点击Network，点击XHR标签。
然后我们刷新网页，将图片继续下拉。这个时候我们就可以看到XHR标签，在网页每一次加载的时候就会跳出一个请求(acjson…)，点击它再点Preview，我们看到这是一条json数据，点开data，我们看到这里面有30条数据，每一条都对应着一张图片。

在这里插入图片描述返回上图所示页面，我们点击第一个请求，点击Headers,往下拉看到Query String Parameters,可以看到他的参数如下：

tn:resultjson_com
ipn:rj
ct:201326592
is:
fp:result
queryWord:spyder
cl:2
lm:-1
ie:utf-8
oe:utf-8
adpicid:
st:-1
z:
ic:0
hd:
latest:
copyright:
word:spyder
s:
se:
tab:
width:
height:
face:0
istype:2
qc:
nc:1
fr:
expermode:
force:
pn:30
rn:30
gsm:1e

一个地址就是由一个基础网址加上如上图的参数组成，如下图所示
https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=spyder&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word=spyder&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&pn=30&rn=30&gsm=1e
queryWord和word就是我们搜索的值，pn的值即是刷新出来的图片数量，我们会发现每一个请求的pn参数都会加30。

当搜索关键字是中文时，比如我搜索大学
在这里插入图片描述
可以看到，queryWord和word的 值都变成%E5%A4%A7%E5%AD%A6了，啥情况呢，我要的是大学，怎么变成这个东西了呢?
原来, 还需要一顿操作:

>>>import urllib
>>>keyword="大学"
>>>keyword=urllib.parse.quote(keyword)
>>>keyword
'%E5%A4%A7%E5%AD%A6'

这样我们就成功找到我们需要的信息位置了，我们可以在请求头中看到存放json数据的url地址,终于可以开始了

import urllib
def get_urlset(keyword,page):#获取存放json数据的url地址，keyword即是输入的值，page为获得的url地址的个数
	url_list=[]
    kw=urllib.parse.quote(keyword）
    for j in range(page):
        p=j*30        
        url_list.append("https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord="+kw+"&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word="+kw+"&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&pn="+str(p)+"&rn=30&gsm=b4")
    return url_list

获得网址内容

加headers是为了伪装成浏览器访问。
加proxies是为了加代理，免费的代理只能维持一会可能就没用了，自行更换。

import requests
def get_html(url):#解析网址
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
    proxies = {'http': '117.91.250.131:9999'}
    try:
        resp = requests.get(url, headers=headers)
    except:
        resp = requests.get(url, headers=headers, proxies=proxies)
    return resp

利用上述方法get_html(url).text获得文本内容，get_html(url).content获得二进制代码，我们到此为止还没有用到。

解析json

我们点击第一个请求，点击Preview,打开其中的一个data,我们前面说过每一条data都对应一张图片，打开data，果然在hiverURL我们看到了图片地址
在这里插入图片描述好了，知道图片具体在哪了，用如下代码获得图片地址

import json
def parse_json(text):#解析json获得图片地址
    img_url=[]
    try:	#多用用try，防止加载失败，程序退出
        result=json.loads(text)
        if result:
            for i in result.get("data"):
                img_url.append(i.get("hoverURL"))
        return img_url
    except:
        print("获取图片地址失败")

创建文件夹

大家爬出来的图片肯定不希望散乱着弄出来，想要要用一个子文件夹包起来。如图所示。
在这里插入图片描述这里的“E:/学习/爬虫/百度图片”，是根目录，在跑程序之前要提前创建好哟，路径大家自行修改。

如何创建子文件夹呢，如下：

def mkdir(path):
    # os.path.exists(name)判断是否存在路径
    # os.path.join(path, name)连接目录与文件名
    isExists = os.path.exists(os.path.join("E:/学习/爬虫/百度图片", path))
    if not isExists:
        print('makedir', path)
        os.makedirs(os.path.join("E:/学习/爬虫/百度图片", path))
        os.chdir(os.path.join("E:/学习/爬虫/百度图片", path))
        return True
    else:
        print(path, 'already exists')
        return False

保存图片

def open_img(img,Number):#打开并保存图片到文件中
    if img:
        
        filename=keyword+str(Number)+".jpg"
        with open (r"E:/学习/爬虫/百度图片/"+keyword+r'/'+filename,'wb') as f:
            try:
                f.write(get_html(img).content)
                print(filename+"下载成功")
            except:
                print("读取文件失败")

最后获得的文件及文件名如下图所示：

在这里插入图片描述

代码

在跑程序之前要把保存图片的文件夹创建好哟，我的路径是"E:/学习/爬虫/百度图片"，大家自行修改。还有就是可能如下四个包某些包要自行导入，我用的Anaconda 的spyder已经都导入好了，可以直接使用。

import urllib
import json
import requests
import os
import time

def get_urlset(keyword,page):#获得网址链接集合
    url_list=[]
    kw=urllib.parse.quote(keyword)
    for j in range(page):
        p=j*30        
        url_list.append("https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord="+kw+"&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word="+kw+"&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&pn="+str(p)+"&rn=30&gsm=b4")
    print(page)
    return url_list

def get_html(url):#获得网址内容
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
    proxies = {'http': '117.91.250.131:9999'}
    try:
        resp = requests.get(url, headers=headers)
    except:
        resp = requests.get(url, headers=headers, proxies=proxies)
    return resp


#text=get_html(get_urlset("湖北中医药大学")[0].text)

def parse_json(text):#解析json获得图片地址
    img_url=[]
    try:
        result=json.loads(text)
        if result:
            for i in result.get("data"):
                img_url.append(i.get("hoverURL"))
        return img_url
    except:
        print("获取图片地址失败")
        
#print(parse_json(text) )    

def mkdir(path):
    # os.path.exists(name)判断是否存在路径
    # os.path.join(path, name)连接目录与文件名
    isExists = os.path.exists(os.path.join("E:/学习/爬虫/百度图片", path))
    if not isExists:
        print('makedir', path)
        os.makedirs(os.path.join("E:/学习/爬虫/百度图片", path))
        os.chdir(os.path.join("E:/学习/爬虫/百度图片", path))
        return True
    else:
        print(path, 'already exists')
        return False
    
def open_img(img,Number):#打开并保存图片到文件中
    if img:
        
        filename=keyword+str(Number)+".jpg"
        with open (r"E:/学习/爬虫/百度图片/"+keyword+r'/'+filename,'wb') as f:
            try:
                f.write(get_html(img).content)
                print(filename+"下载成功")
            except:
                print("读取文件失败")
                

    
def main(keyword,page):#主函数
    mkdir(keyword)
    urlset=get_urlset(keyword,page)
    Number=0#用来计数
    for url in urlset:
        Text=get_html(url).text
        img_url=parse_json(Text)
        if img_url:
            for img in img_url:
                open_img(img,Number)
                Number+=1
if __name__ == '__main__':
    # 计时
    t1 = time.time()
    keyword=input("请输入你要爬取的图片:")
    page=input("请输入你要爬取的页数:") 
    page=int(page)         
    main(keyword,page)
    print(time.time() - t1)

运行结果如下
在这里插入图片描述

在这里插入图片描述

菜唉
关注
  • 12
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
python爬取百度百科的页面
04-05
python爬取百度百科的页面主要用BeautifulSoup ,urllib2等
百度图片api获取（包含获取原网址）
u011283565的博客
08-31 4691
进入百度图片，搜索关键字 比如搜索关键词“赵丽颖”——打开调制模式（F12） 众所周知，一般图片的url以json列表方式进行输出，所以我们直接去 XHR模块去查找json列表。（刚刷新时没有数据出现，这时我们只需要滚动 滚轮即可获得数据更新）如下图： 打开右方acjson连接进入预览，我们可以发现列表已经出现，这个json 的网址也很于一四，经过反复测试，发现规律如下： https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&
爬虫案例：手把手教你爬取图片
一行玩python
11-05 9584
大家好，我是一行今天是小白菜同学的投稿，老规矩一个赞10积分一、确认目标和思路：写在最前面：程序很简单，重要的是思路以及对错误的分析1.确认目标和大体思路： 今天我们需要爬取的网站是：h...
python爬虫爬取图片 必应&百度（仅供学习）
最新发布
美好的事情即将发生！
02-16 1193
使用python在百度和必应分别爬取图片，并通过在headers中模拟浏览器的用户代理（User-Agent），可以让请求看起来像是来自真实的浏览器，从而避免被网站的反爬机制拦截
Python爬取图片
lidiaosi的博客
01-19 1万+
爬取网站https://image.baidu.com/
Python爬虫实战（五）：根据关键字爬取某度图片批量下载到本地（附上完整源码）
热门推荐
努力让自己发光，对的人才能迎着光而来
08-21 14万+
Python爬虫实战（五）：根据关键字爬取某度图片批量下载到本地（附上完整源码）
用spyder爬取图片_用爬虫从网页批量爬取图片
weixin_39535287的博客
01-20 936
因为要做一项验证，苦于没有合适的数据，所以打算在网上爬一些。在网上找了一些代码，也一一试过，这里放出效果最好的代码，是从百度上爬取图像。大家可以根据自己的需求试一下。# coding=utf-8 """根据搜索词下载百度图片""" import re import sys import urllib import os import requests def get_onepage_url...
百度.py python 爬取百度搜索结果，及安全验证问题
11-16
python 爬取百度搜索结果，及安全验证问题
python爬虫爬取百度百科页面
02-07
> ### python爬虫爬取百度百科页面 > 简单爬虫框架： > 爬虫调度器 -> URL管理器 -> 网页下载器(urllib2) -> 网页解析器(BeautifulSoup) -> 价值数据 目录结构： ![]...
python爬取100个百度百科页面信息
04-29
一个简单的python爬虫程序，各个功能模块分开
Python实现爬取百度贴吧帖子所有楼层图片的爬虫示例
09-20
主要介绍了Python实现爬取百度贴吧帖子所有楼层图片的爬虫,涉及基于urllib的网页访问与正则匹配相关操作技巧,需要的朋友可以参考下
python爬取百度图片
05-04
使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片 使用任意关键字 python爬取百度图片
Python爬虫：简易图片爬取
qq_73980336的博客
10-06 2416
对该页面往下翻，并复制以下信息粘贴在header中（注：粘贴时优先打三对双引号注释后再粘贴，这样能够最高程度避免粘贴胡乱换行的情况）print("正在保存第" + str(pic_name))print("正在保存第" + str(pic_name))然后将代码整理好，再复制负载内容，粘贴进代码里（注：这里要删除没有内容的名称）page_num = input("请输入你要抓取的页数:")page_num = input("请输入你要抓取的页数:")fold_name = input("请输入图片名:")
超级简单，四步带你入门爬虫，爬取图片
guguo666的博客
04-30 1万+
四步带你入门爬虫，爬取图片 本人还是学生，python小白。其实很多基础还不牢固，但是对爬虫比较有兴趣，在这里也希望能帮助大家入门爬虫,毕竟还是比较有趣。需要一些html基础，不过这个html也很简单。 完整代码块 import requests from lxml import etree import os if __name__ == '__main__': url = 'https://pic.netbian.com/4kdongman/' #爬取到页面源码数据 header
Python应用开发——爬取网页图片
ShenZhen_zixian的博客
09-06 3万+
当我们需要从网页上面下载很多图片的时候，一个一个手动保存实在是太累人了。那么有没有批量下载的办法呢？ 答案是有的，Python爬虫就可以完美的做到这一点，而且作为一个Python的初学者，我可以很负责任的告诉你，这门语言入门挺简单的，特别是对于那些有其他编程语言经验的人。
超简单的python爬虫教程来了！批量爬取图片，机器学习必备技能（附资源）
Python单行客的博客
11-04 3467
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（学习教程文末领取哈）
初学Python只需4步，爬取网站图片
javasdn的博客
04-21 4871
这里也说明了，为什么要将抓取到的图片url存到list里面了。这个方法是获取到请求的这个URL所返回的网页源代码信息数据，返回值是bytes类型时，要将其转换成utf-8才能正常显示在python程序中，所以还要调用decode()方法进行解码。再例如，我在一开始设定的规则中是没有加上http开头的，结果抓到一些图片URL是相对路径的数据，导致后面是无法访问URL报错的。这里就再次说明要新建文件夹的重要性，新建文件夹后，这个目录下是全新空白的，不用考虑生成的文件名会不会和原有文件名重复的问题。
python爬取图片
weixin_48353691的博客
11-25 1344
爬取百度图片、图片下载、图片格式

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值