[Python] requests + lxml爬取网页图片

@ chen

已于 2022-03-23 22:12:27 修改

阅读量2k

点赞数 2

分类专栏： python 文章标签： python

于 2022-03-10 16:59:10 首次发布

本文链接：https://blog.csdn.net/qq_41331466/article/details/123394759

版权

本文介绍了如何使用Python的requests和lxml库来爬取网页中的图片。详细讲述了请求头设置Referer的重要性，以及在面对图片懒加载时选择data-src属性的原因。并提供了完整的爬虫代码示例。

摘要由CSDN通过智能技术生成

[Python] requests + lxml爬取图片

使用python中的requests库和lxml库爬取特定网站上的图片。

一、模块介绍

1. requests模块

requests库是一个python第三方库，基于urllib编写，用于发送网络请求，访问网络资源。

常用方法

# 使用前导入模块
import requests

url = 'http://www.baidu.com'
param = {
   'key': 'value'}
header = {
   'User-Agent': 'Mozilla/5.0 ......'}

# 发送get请求
response = requests.get(url)
response = requests.get(url, param=param, header=header)

# 发送post请求
response = requests.post(url, data=param)

print(response.content)