Python爬虫练习笔记——爬取单个网页里的所有图片(入门)

最近闲着,想学一下爬虫先从简单的练习开始吧~ 爬取单个网页里的所有图片,这个没有什么难点,因为不需要翻页哈哈哈哈我很喜欢一些文章中的配图,比如这篇,里面就会有很多电影中的经典截图第一步:分析网页1.首先我们要了解要爬取网站的页面,查看网页源代码。2.其次要想好代码的步骤和思路。#获取主页面源代码#获取章节超链接#获取小说内容#下载小说import requestsimpor...
摘要由CSDN通过智能技术生成

最近闲着,想学一下爬虫 (^-^)V ——[手动比耶]
先从简单的练习开始吧~ 爬取单个网页里的所有图片,这个没有什么难点,因为不需要翻页哈哈哈哈。

我很喜欢一些文章中的配图,比如这篇,里面就会有很多电影中的经典截图。
在这里插入图片描述

第一步:分析网页

首先需要了解要爬取网站的页面,查看网页源代码。然后根据网页源代码的结构,想好代码的步骤和思路。

在网页中查看页面的源代码(F12)

  1. 先来看一下页面的请求方式:
    在开发者模式的Network里找到.html的请求,可以看到请求方式是GET请求,也没有带什么特殊的请求参数之类的~ 比较简单。
    (如果没有看到.html的请求,刷新一下页面就出来了)
    在这里插入图片描述

  2. 然后再看代码结构:
    (不太熟悉html的小伙伴可以使用圈圈里的小箭头,点一下自己想要看的元素,然后右侧就会自动跳转到该元素对应的代码区域的~四不四很简单)

    结合“上下文”简单分析一下就会发现:(有种做阅读理解的感觉hhhhh)
    ① 这个网页里所有的图片都是放在 <img> 标签里的 src 后面,src后面这个链接就是图片的地址
    (可以复制下来在浏览器打开确认一下)
    ② 图片上方的描述语是放在class="pictext"p 标签里的
    (曾打算过用这个描述语句作为爬下来的图片的名称的)
    在这里插入图片描述
    这样一来就很简单了
    只需要先拿到网页的 HTML 代码,然后把页面里面所有<img> 标签里的 src 后面超链接的内容取出来就行了!

第二步:开始编程
1. 定义库
  • 首先需要用 requests 库来发出一个网络请求:
import requests
  • 然后需要用 BeautifulSoup 来解析和提取 HTML 数据
from bs4 import BeautifulSoup

这里也可以直接import bs4,但代码中每次用的时候都要写上包名bs4,如:bs4.BeautifulSoup 啥啥啥

from bs4 import BeautifulSoup 是直接将BeautifulSoup 类导入到当前命名空间直接使用,不需要再带包名。因此建议用from bs4 import BeautifulSoup

  • 最后需要还需要用 urllib.request 来将网络对象复制到本地文件
import urllib.request

感觉 urllib.request 和前面导入的 requests有点像呀~ 查了一下资料发现是这样:

  • 55
    点赞
  • 196
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
好的,下面是一个简单的 Python 爬虫教程,可以批量爬取指定网站的图片: 首先,我们需要安装 requests 和 BeautifulSoup 这两个库。可以通过以下命令进行安装: ``` pip install requests pip install beautifulsoup4 ``` 接下来,我们需要编写代码。以下是一个示例代码,可以爬取指定网站的图片并保存到本地: ```python import requests from bs4 import BeautifulSoup import os # 爬取图片的网站 url = "https://www.example.com/" # 请求头,模拟浏览器访问 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"} # 发送请求,获取网页内容 response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") # 创建保存图片的文件夹 if not os.path.exists("images"): os.makedirs("images") # 遍历所有的图片标签,获取图片链接并保存到本地 for img in soup.find_all("img"): img_url = img.get("src") if img_url.startswith("http"): response = requests.get(img_url) with open("images/" + os.path.basename(img_url), "wb") as file: file.write(response.content) print("已保存图片:", img_url) ``` 在上述代码中,我们首先定义了要爬取的网站的 URL。然后,我们使用 requests 库发送一个 GET 请求,获取网页的 HTML 内容。接着,我们使用 BeautifulSoup 库对 HTML 进行解析,获取所有的图片标签。最后,我们使用 requests 库再次发送 GET 请求,获取图片的二进制数据,并保存到本地的 images 文件夹中。 注意,这我们使用了一个 if 判断来过滤掉非 HTTP 开头的图片链接,以避免出现下载错误的情况。 为了更好的用户体验,代码中还加入了一些注释,方便大家理解。 希望这个简单的 Python 爬虫教程能对你有所帮助!
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值