爬虫---从网页上抓取图片（以原神可莉为例）

已于 2023-10-06 15:24:08 修改
阅读量1.2k 收藏 3
点赞数
文章标签： 爬虫
于 2023-10-06 15:21:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PinAn0217/article/details/133532422
版权

上期我们讲到正则表达式的用法，知道所有的字符都可以用  .*?  来表示，下面让我们来真正使用它吧。本文一些知识类说明截取该博主的文章， Python爬虫入门教程！手把手教会你爬取网页数据_python爬虫教程_计算机视觉农民工的博客-CSDN博客

一：爬虫的概念

        （一）、概念

        爬虫就是自动获取网页内容的程序，例如搜索引擎，Google，Baidu 等，每天都运行着庞大的爬虫系统，从全世界的网站中爬虫数据，供用户检索时使用。

        （二）、流程

        爬虫的流程简要介绍就是

        -------模拟请求网页。模拟浏览器，打开目标网站。
        -------获取数据。打开网站之后，就可以自动化的获取我们所需要的网站数据。
        -------保存数据。拿到数据之后，需要持久化到本地文件或者数据库等存储设备中。

（三）、库的使用


               那么我们该如何使用 Python 来编写自己的爬虫程序呢，在这里我要重点介绍一个 Python 库：Requests。

Requests 使用
Requests 库是 Python 中发起 HTTP 请求的库，使用非常方便简单。

模拟发送 HTTP 请求

发送 GET 请求

当我们用浏览器打开百度首页时，其实发送的最原始的请求就是 GET 请求

二：如何爬图片

        现在我们就来爬可莉

（一）、导库

# 爬图片    正则表达式  requests用法   爬视频
# 1.导库
from wsgiref import headers

import requests
import re

（二）、先把基本框架搭好

这个是框架先给出来，后面我们一个一个分析

1、获取网站源码：

# 获取网站源码

def get_html(url, headers):
    response = requests.get(url, headers=headers)

    response.encoding = "utf_8"
    return response.text
    # if response.status_code == 200:

    # else:
    #     print("获取源码失败")

2、调用源码

# 定义main函数调用get_html源码
def main():
    url = "https://image.baidu.com/search/acjson?tn=resultjson_com&logid=8759404115215997721&ipn=rj&ct=201326592&is=&fp=result&fr=ala&word=%E5%8F%AF%E8%8E%89&queryWord=%E5%8F%AF%E8%8E%89&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=&expermode=&nojc=&isAsync=&pn=30&rn=30&gsm=1e&1696485163125="
    headers = {
 }
    params = {}
html = get_html(url, headers)
print(html)

其中url中的内容就是我们从百度中获取的链接。

3、从网页中获取数据

        ①接下来我们打开浏览器，Edge  /   谷歌都可以
        ②我们进入浏览器搜索百度网页进去，记住一定是百度网页。


 

进去之后我们先点击ALL也就是全部，然后刷新一下，鼠标向上滑，滑到最顶端，也就是index开头，点击它。

        Ⅰ点击标头/Headers,复制URL中的链接（这里留意一下你的url是大写还是小写，后面如果代码运行不了就看看是否大小写出了问题），将链接复制到我们写的main函数中。

        

        Ⅱ注意：复制下面那个请求标头里全部内容到headers中，在粘贴是在前面加上三对双引号，可以避免粘贴时出现大量错误。前面都加上双引号，每句最后加上逗号，有双引号语句就加单引号。（其实就是注释掉）注意格式，python很注意格式。例如下面这样

# 定义main函数调用get_html源码
def main():
    url = "https://image.baidu.com/search/acjson?tn=resultjson_com&logid=8759404115215997721&ipn=rj&ct=201326592&is=&fp=result&fr=ala&word=%E5%8F%AF%E8%8E%89&queryWord=%E5%8F%AF%E8%8E%89&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=&expermode=&nojc=&isAsync=&pn=30&rn=30&gsm=1e&1696485163125="
    headers = {
        "Accept":"text/plain, */*; q=0.01",
        "Accept-Encoding":"gzip, deflate",
        "Accept-Language":"zh-CN,zh;q=0.9",
        "Connection":"keep-alive",
        "Cookie":"BDqhfp=%E5%8E%9F%E7%A5%9E%E5%8F%AF%E8%8E%89%E5%9B%BE%E7%89%87%26%26NaN-1undefined%26%263876%26%266; BIDUPSID=C4A8B9F9C3B27145F94A0A46256A57BE; PSTM=1678688920; ZFY=g2bnFepdt3:AAlVQAVs1fFvpbAU1SIYFwyCnF2Q5bMeo:C; __bid_n=188940fe9cb638ca9d4207; FPTOKEN=ziX5y/CNOyyfQHXZkteEDKG1fLRFjOG9t3E3jcToUXM1qFTS0EJFkz9BDEwR5Ph7g0EJzZkKn5Tbefp2ZhcdKoulr9cBpJtD9fw2SdB70H3YaMXplX7NugPxJNh8Fz/yQylF9ari76mK1GHCJaRF7vdYoZmrS1AvqWu7IAoO99DZt6CZ82VhG4Wy9W1B6QmDqnAVYTQLmnQ46PWgEJxgynWC2YFkdBJT1Elg8WflDkmxs/U+rqrIt/vgTQuNi1UyZzCJBEnd1qnd8i//PeJ2cSnqZvaYONGcQWV8+rsEe9EyjuCudeVPskNUOc6S10Vqmmp/o5wEtqTxaMYkr9SrEEy9aPTZifZUMSQqDtdalstawtZCY5tiR39qHe+S5A84zxl/4llNRqeUuHUEv0Z7CA==|binE0C1sEfvZr+OZz+/kbMFDuPS2ivRhYhWaOM9p6k0=|10|a00a66977e6b2fee93c554d192a03a8e; BAIDUID=C9052A101E56BDC2247A946A62B8565B:FG=1; BAIDUID_BFESS=C9052A101E56BDC2247A946A62B8565B:FG=1; BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm; BDRCVFR[-pGxjrCMryR]=mk3SLVN4HKm; userFrom=null; ab_sr=1.0.1_YmE4ZTAwZmUxYjYzZGQwN2ZjYTZlYTJkYjE1N2NjYjNjODI2Yjc2NDAwOWIwNjRjMGMyMDViNTdjN2VjZWMwODFhNDRiMzFmOTlmNzI4MTA0NTgxMjMyNDU5NzVlOTdkN2JhNjRjYzA2OThlNTBmMjA1ODNhNDljYWJjMmNiOTgwZTNjYjE2NWI2YmM2YjQ1NjViNWQyZTM1Njc0NWQxOA==",
        "Host":"image.baidu.com",
        "Referer":"https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gb18030&word=%D4%AD%C9%F1%BF%C9%C0%F2%CD%BC%C6%AC&fr=ala&ala=1&alatpl=normal&pos=0&dyTabStr=MTEsMCwzLDIsMSw2LDQsNSw3LDgsOQ%3D%3D",
        "Sec-Ch-Ua":'"Google Chrome";v="117", "Not;A=Brand";v="8", "Chromium";v="117"',
        "Sec-Ch-Ua-Mobile":"?0",
        "Sec-Ch-Ua-Platform":'"Windows"',
        "Sec-Fetch-Dest":"empty",
        "Sec-Fetch-Mode":"cors",
        "Sec-Fetch-Site":"same-origin",
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36",
        "X-Requested-With":"XMLHttpRequest",
    }
③接下来我们解析出所有的缩略图URL，并用正则表达式来匹配其中的url，按原路返回。
# 从给定的HTML字符串中解析出所有的缩略图URL
def parse_pic_url(html):
    result = re.findall('thumbURL":"(.*?)"', html, re.S)
    return result
④之后我们获取图片的二进制源码
# 获取图片的二进制源码
def get_pic_content(url):
    response = requests.get(url)
    # 设置源代码的编码方式
    return response.content
⑤
# 调用html函数  result 解析HTML文档并从中提取出图片的URL。
    html = get_html(url, headers)
    result = parse_pic_url(html)
    pic_name = 0
⑥现在我们将图片保存到本地
# 保存图片
def save_pic(content, pic_name):
    with open("可莉/" + str(pic_name) + ".jpg", "wb") as f:
        f.write(content)
        f.close()
⑦再次打开刚才的网页

找到Fetch,鼠标向下滑图片，会看到刷新点acjson数据，如果刷不出来多试几次，网速问题。

⑧随便点进去一个，找到payload复制所有内容到我们刚才打代码中，如图：

注意删除那些冒号后没有内容的句子，和上面一样加上冒号，逗号。

  params = {
         " tn":" resultjson_com",
        "logid":" 8759404115215997721",
         "ipn": "rj",
         " ct": "201326592",
        "fp":" result",
        "fr": "ala",
        "word": "可莉",
         "queryWord":" 可莉",
        "cl": "2",
         "lm": "-1",
         "ie":" utf - 8",
         "oe": "utf - 8",
         "pn": "30",
         "rn":" 30",
        "gsm":"1e",

    }

 结尾。记得在python里新建一个文件夹放图片

# 爬图片    正则表达式  requests用法   爬视频
# 1.导库
import os
from wsgiref import headers

import requests
import re


# 获取网站源码

def get_html(url, headers):
    response = requests.get(url, headers=headers)

    response.encoding = "utf_8"
    return response.text
    # if response.status_code == 200:

    # else:
    #     print("获取源码失败")

# 从给定的HTML字符串中解析出所有的缩略图URL
def parse_pic_url(html):
    result = re.findall('thumbURL":"(.*?)"', html, re.S)
    return result


# 获取图片的二进制源码
def get_pic_content(url):
    response = requests.get(url)
    # 设置源代码的编码方式
    return response.content

# 定义一个新建文件夹程序
def create_fold(fold_name):
    # 加异常处理
    try:
        os.mkdir(fold_name)
    except:
        print("文件夹已存在")


# 保存图片
def save_pic(fold_name,content, pic_name):
    with open("可莉/" + str(pic_name) + ".jpg", "wb") as f:
        f.write(content)
        f.close()


# 定义main函数调用get_html源码
def main():
    # 输入文件夹的名字
    fold_name = input("请输入您要抓取图片的名字")
    # 输入要抓取的图片页数
    page_num = input("请输入要抓取多少页？（0，1，2，3，4,......）")
    # 调用函数  创建文件夹
    create_fold(fold_name)
    # 定义图片名字
    pic_name = 0
    # 构建循环 控制页面  1页30张   3页90张
    # 让它自己选择
    for i in range(int(page_num)):
        url = "https://image.baidu.com/search/acjson?tn=resultjson_com&logid=8759404115215997721&ipn=rj&ct=201326592&is=&fp=result&fr=ala&word=%E5%8F%AF%E8%8E%89&queryWord=%E5%8F%AF%E8%8E%89&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=&expermode=&nojc=&isAsync=&pn=30&rn=30&gsm=1e&1696485163125="
        headers = {
        "Accept":"text/plain, */*; q=0.01",
        "Accept-Encoding":"gzip, deflate",
        "Accept-Language":"zh-CN,zh;q=0.9",
        "Connection":"keep-alive",
        "Cookie":"BDqhfp=%E5%8E%9F%E7%A5%9E%E5%8F%AF%E8%8E%89%E5%9B%BE%E7%89%87%26%26NaN-1undefined%26%263876%26%266; BIDUPSID=C4A8B9F9C3B27145F94A0A46256A57BE; PSTM=1678688920; ZFY=g2bnFepdt3:AAlVQAVs1fFvpbAU1SIYFwyCnF2Q5bMeo:C; __bid_n=188940fe9cb638ca9d4207; FPTOKEN=ziX5y/CNOyyfQHXZkteEDKG1fLRFjOG9t3E3jcToUXM1qFTS0EJFkz9BDEwR5Ph7g0EJzZkKn5Tbefp2ZhcdKoulr9cBpJtD9fw2SdB70H3YaMXplX7NugPxJNh8Fz/yQylF9ari76mK1GHCJaRF7vdYoZmrS1AvqWu7IAoO99DZt6CZ82VhG4Wy9W1B6QmDqnAVYTQLmnQ46PWgEJxgynWC2YFkdBJT1Elg8WflDkmxs/U+rqrIt/vgTQuNi1UyZzCJBEnd1qnd8i//PeJ2cSnqZvaYONGcQWV8+rsEe9EyjuCudeVPskNUOc6S10Vqmmp/o5wEtqTxaMYkr9SrEEy9aPTZifZUMSQqDtdalstawtZCY5tiR39qHe+S5A84zxl/4llNRqeUuHUEv0Z7CA==|binE0C1sEfvZr+OZz+/kbMFDuPS2ivRhYhWaOM9p6k0=|10|a00a66977e6b2fee93c554d192a03a8e; BAIDUID=C9052A101E56BDC2247A946A62B8565B:FG=1; BAIDUID_BFESS=C9052A101E56BDC2247A946A62B8565B:FG=1; BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm; BDRCVFR[-pGxjrCMryR]=mk3SLVN4HKm; userFrom=null; ab_sr=1.0.1_YmE4ZTAwZmUxYjYzZGQwN2ZjYTZlYTJkYjE1N2NjYjNjODI2Yjc2NDAwOWIwNjRjMGMyMDViNTdjN2VjZWMwODFhNDRiMzFmOTlmNzI4MTA0NTgxMjMyNDU5NzVlOTdkN2JhNjRjYzA2OThlNTBmMjA1ODNhNDljYWJjMmNiOTgwZTNjYjE2NWI2YmM2YjQ1NjViNWQyZTM1Njc0NWQxOA==",
        "Host":"image.baidu.com",
        "Referer":"https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gb18030&word=%D4%AD%C9%F1%BF%C9%C0%F2%CD%BC%C6%AC&fr=ala&ala=1&alatpl=normal&pos=0&dyTabStr=MTEsMCwzLDIsMSw2LDQsNSw3LDgsOQ%3D%3D",
        "Sec-Ch-Ua":'"Google Chrome";v="117", "Not;A=Brand";v="8", "Chromium";v="117"',
        "Sec-Ch-Ua-Mobile":"?0",
        "Sec-Ch-Ua-Platform":'"Windows"',
        "Sec-Fetch-Dest":"empty",
        "Sec-Fetch-Mode":"cors",
        "Sec-Fetch-Site":"same-origin",
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36",
        "X-Requested-With":"XMLHttpRequest",
    }
    params = {
         " tn":" resultjson_com",
        "logid":" 8759404115215997721",
         "ipn": "rj",
         " ct": "201326592",
        "fp":" result",
        "fr": "ala",
        "word": "可莉",
         "queryWord":" 可莉",
        "cl": "2",
         "lm": "-1",
         "ie":" utf - 8",
         "oe": "utf - 8",
         "pn": str(int(i + 1) * 30),
         "rn":" 30",
        "gsm":"1e",

    }

# 调用html函数  result 解析HTML文档并从中提取出图片的URL。
# 打印一条提示信息，显示正在保存第几张图片
    html = get_html(url, headers)
    result = parse_pic_url(html)
    pic_name = 0
    # 使用for循环遍历列表
    for item in result:
        # print(item)
        # 调用函数获取二进制源码
        pic_content = get_pic_content(item)
        # 调用函数保存图片
        save_pic(pic_content, pic_name)
        pic_name += 1
        print("正在保存" + str(pic_name) + " 张图片")

    # 执行main函数


if __name__ == '__main__':
    main()

这是运行效果，我搜的大熊猫

好了结束了，谢谢观看

麻烦头发别掉
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
网络爬虫爬取图片
weixin_47869312的博客
06-29 590
为了丰富一下自己的爬虫知识，咳咳咳！！！于是我爬取了目标网页的高清照片。这样给各位大佬和小伙伴们展示的时候也会显得逼格满满。进入正题： 我们第一步先要找到网站，具体如下方代码展示，我们和其他博主不同的地方在于我们把每一个爬取的照片名字都爬取了下来，然后将名字命名为文件名，然后将图片存储于文件当中。其中我们在爬取过程中遇到了名字进行了加密，于是我们最开始使用decode进行解密，发现没有效果，最后我们使用了这种resp.encoding = resp.apparent_encoding方案，非常实用的方法，重
jsoup-1.13.1.jar Java爬虫经典框架 抓取网页内容
10-27
- **网站抓取**：jsoup常用于爬虫项目，可以抓取网页内容，提取数据，如新闻文章、商品价格等。 - **Web自动化**：在自动化测试中，jsoup可以用来解析网页，验证元素的存在和状态。 - **数据迁移**：将旧版网站...
网页图片抓取工具(GetWebPic)
05-04
用于网页图片抓取工具(GetWebPic)
从网页抓取图片
java开发指南博客 【转载】
12-01 94
从服务器获取数据步骤：根据http协议 package com.smu; import java.io.ByteArrayOutputStream; import java.io.File; import java.io.FileOutputStream; import java.io.InputStream; import java.net.HttpURLConnection; impor...
最全python爬虫入门：批量爬取网站图片并保存_python爬虫图片(1)，最新Python大厂高频面试题
2401_84138890的博客
05-13 1617
现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习获取网页文本并将文本解析。
从网页上抓取图片
LauraLiu2014的博客
07-19 132
import requestsurl='http://img1.gtimg.com/lady/pics/hv1/192/111/993/64598322.jpg'res=requests.get(url).content #获取url对应的内容，返回为bytes类型fw=open('a.jpg','wb') #打开一个文件，以二进制的形式打开它，wb、rb是保存二进制的图片、影像fw.w...
在线网页图片抓取
qq_787143156的博客
05-22 576
在线网页图片抓取，怎么抓取在线网页图片，今天给大家分享一款免费的在线网页图片抓取工具，只需要输入关键词，或者域名。自动抓取全网图片，支持文章中的图片抓取，同时也支持抓取视频，自定义任何格式导出。详细参考图片教程。 我们晓得，从关键词排名的角度来看，普通权重较高的网站在排名中占领一定的优势，但也有一些网站看似不太好，在线网页图片抓取但排名却很高。粗略察看，排名有很大的时机，但认真剖析，排名好的网站肯定有其缘由，很多东西是不能了如指掌的。那么如何优化抢手关键词呢？ 网站的合理规划对网站的整体优化有很
scrapy框架爬虫项目-以东财为例
最新发布
06-21
Scrapy是一个强大的Python爬虫框架，它为开发者提供了一套高效、灵活的工具，用于处理网页数据抓取和数据处理任务。"scrapy框架爬虫项目-以东财为例"是一个具体的实例，旨在帮助初学者了解如何使用Scrapy构建一个...
Python爬虫抓取指定网页图片代码实例
09-16
### Python爬虫抓取指定网页...通过以上介绍，我们不仅学会了使用Python进行网页图片抓取的基本方法，还深入理解了正则表达式和BeautifulSoup在网页数据抓取中的应用。这为后续更复杂的数据抓取任务打下了坚实的基础。
Python爬虫之网页图片抓取的方法
01-20
这段时间一直在学习Python的东西，以前就听说Python爬虫多厉害，正好现在学到这里，跟着小甲鱼的Python视频写了一个爬虫程序，能实现简单的网页图片下载。 二、代码 __author__ = JentZhang import urllib.request ...
实验报告-爬虫-网络抓取-1.doc
01-11
实验报告“实验报告-爬虫-网络抓取-1.doc”是关于网络内容抓取的实践，主要聚焦于使用Python编程语言实现一个简单的网络爬虫，以从网站https://xkcd.com抓取并下载所有漫画。这个实验旨在让学生熟悉网络爬虫的基本...
抓取网站图片
01-04
抓取网页图片，将网站上的图片批量抓取放到本地，完成需求。
网页图片抓取/批量保存
01-02
网页图片抓取，批量抓取，可设置保存地址
网页图片抓取小工具
04-06
用python完成的网页爬取图片的小工具，具有图形界面，已用py2exe打包为win环境下可直接执行，无需安装python环境。
Python网页图片爬虫
12-06
Python2.7 的适合新手学习
一个可以批量抓取网页图片的工具
10-08
本程序可以抓取指定IE窗口中已下载完毕的网页中的全部或部分图片（可根据图片文件后缀和图片所属站点的域名过滤，也可以对单个图片进行选取），对于选中的图片，可以： 1）抓取文件URL列表，可以转换为UBB代码或HTML代码，便于将选中的图片批量转贴到支持UBB的论坛 2）另存图片到指定的本地文件夹，另存时可沿用原来的文件名，也可批量重命名（类似于ACDSee）；对于相同文件名已存在的情况，可以选择跳过、覆盖、重命名或提示；因为是从Internet临时文件夹中复制，所以感觉会很快
简单的抓取网页中的图片
黑猫警长
03-14 861
#coding:utf-8 import urllib import re def gethtml(url): res=urllib.urlopen(url) html=res.read() return html def getimg(html): r1=r'src="(.*/*\.gif)"' #原
【网络爬虫】(2) requests模块，案例：网络图片爬取，附Python代码
博观而约取，厚积而薄发
03-25 1852
例如，params={'key1': 'value1', 'key2': 'value2'} 将会以 key1=value1&key2=value2 的形式附加到 URL 上。要发送的 JSON 数据。这是 requests.put 函数必须的参数，代表你想要发送 PUT 请求的资源的地址。下面我将详细介绍 requests.put 函数的参数、用法，并给出一个简短的例子。用于身份验证的元组，如 ('user', 'pass')。用于身份验证的元组，如 ('user', 'pass')。
python爬虫入门教程：爬取网页图片
xiangxueerfei的博客
07-20 3197
在现在这个信息爆炸的时代，要想高效的获取数据，爬虫是非常好用的。
Python爬虫程序设计课程-网页数据抓取与解析
课程采用项目引领、任务驱动的教学模式，结合实际案例，如下载网页、抓取网站图片文件名等，以提升学生的实战能力。课程前续为Python程序设计基础、HTML5基础和数据库技术，后续课程为Python数据分析技术。" 本课程...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值