基于BeautifulSoup和requests的网站图片爬取（超详细）

最新推荐文章于 2023-03-07 17:11:30 发布
最新推荐文章于 2023-03-07 17:11:30 发布
阅读量3.3k 收藏 21
点赞数 5
文章标签： python html 乱码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Monster_No17/article/details/106277822
版权

库的准备

bs4，requests，re，lxml
csdn上有很多安装教程，就不一一阐述。

网站准备

本次爬取网站为站长之家的背景图片素材，网站为http://sc.chinaz.com/tupian/beijingtupian.html。

我们的目的为爬取该网站下所有的背景图片。

requests爬取网页源代码

首先用requests.get（）爬取该网站的源代码，代码为

import requests,lxml,re
from bs4 import  BeautifulSoup as ba
url = 'http://sc.chinaz.com/tupian/beijingtupian_2.html'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;\
			 Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) \
 			Chrome/83.0.4103.61 Safari/537.36'}
reponse = requests.get(url=url, headers=headers)
print(reponse.text)

结果为（部分结果）

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>背景图片、背景图片大å
¨ã€æ¡Œé¢èƒŒæ™¯å›¾ç‰‡ã€èƒŒæ™¯å›¾ç‰‡ç´ 材_ç«™é•¿ç´ æ</title>
<meta name="Keywords" content="背景图片,背景图片大å
¨,èƒŒæ™¯å›¾ç‰‡ç´ æ,背景图片下载" />
<meta name="description" content="èƒŒæ™¯å›¾ç‰‡æ ç›®æ”¶é›†ç©ºé—´èƒŒæ™¯å›¾ç‰‡,手机背景图片,高æ¸
背景图片,浪漫背景图片,桌面背景图片高æ¸
,æ¸
æ–°æ·¡é›
背景图片,å¥½çœ‹çš„èƒŒæ™¯å›¾ç‰‡ç´ ææä¾›ç»™å¹¿å¤§ç”¨æˆ·å
è´¹ä¸‹è½½ã€‚" />
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta http-equiv="x-ua-compatible" content="ie=7" />
<link href="/style/pic_all.css" type="text/css" rel="stylesheet" />

这时候发现出现了字符乱码。查看网页的源代码应该是这样的在这里插入图片描述
这时候猜测是网页编码问题，查看get到的代码的编码方式

reponse = requests.get(url=url, headers=headers)
print(reponse.encoding)

输出为ISO-8859-1，查了一些资料，可能是因为网页压缩所致。
编码方式不正确，所以才导致了乱码，
解决方法：运用encode以及decode将获得的源代码转化为UTF-8。

   reponse=requests.get(url=url2,headers=headers).text
   #当网页编码为UTF-8，请求为ISO-8859-1时，可用以下办法（ignore为有些不可转换的编码准备）
   reponse=reponse.encode("ISO-8859-1")
   reponse=reponse.decode("utf-8",'ignore')

在重新print下源代码
在这里插入图片描述
发现编码问题解决了。

建立BeautifulSoup对象

获得了网页的源代码后，接下来开始解析代码，并用find_all（）函数去获得我们想要的内容。
首先解析网页，我们需要的不是这个页面的缩略图效果，需要的是原图，当我们点击图片名字的时候就会进入他的原题所在页面，所以，我们需要获得这个页面的链接。那么怎么获得这个页面的链接呢？鼠标停在图片名字处，并右键审查元素，获得图片代码所在处。
在这里插入图片描述
在看一个
在这里插入图片描述
发现里面有一个后缀为.htm的连接，复制用浏览器打开
在这里插入图片描述
打开后发现是该图的大图模式，也就是我们的目标。同样右键审查元素
在这里插入图片描述
源代码里面就有该图片的连接，用requests.get（该地址），就可以获得该图像了。
大体已经知道了该怎么做了，归纳下

  1. 获得该图片大图的连接，
  2. 打开连接
  3. 获得该图片的连接
  4. 下载图片
    首先先用获得该大图连接，通过分析该网站两个图片的源代码发现，大图连接都是一个格式。
<a target="_blank" href="http://sc.chinaz.com/tupian/200521063411.htm" alt="咖啡豆黄色背景图片">咖啡豆黄色背景图片</a
<a target="_blank" href="http://sc.chinaz.com/tupian/200521351214.htm" alt="爱心平铺背景图片">爱心平铺背景图片</a>

我们先从代码中提取该条标签，用find_all（）字符匹配可以获得该标签

 sourhtml=ba(reponse,'lxml')
 imagehtml=sourhtml.find_all('a',alt=re.compile('图片'),target="_blank",href=re.compile('http://sc.chinaz.com/tupian'))

由于他们的格式都很相似，所以可以直接找标签为‘a’，alt属性里面包含“图片”，target属性为“_blank”，href属性包含“http://sc.chinaz.com/tupian”，结果为。
在这里插入图片描述
由于返回的是类似一个列表类型，所以需要用for循环来输出它。
获得这个后，我们就需要获得href的属性值，用get（）函数可获得

在这里插入图片描述
之后我们在用requests.get（）获得图片的连接，跟上面同样的方法，具体不在阐述。直接贴代码

for i in imagehtml:
    reponseimag = requests.get(url=i.get('href'), headers=headers).text
    #避免字符乱码
    reponseimag = reponseimag.encode("ISO-8859-1")
    reponseimag = reponseimag.decode("utf-8", 'ignore')
    sour = ba(reponseimag, 'lxml')
    image = sour.find('img', src=re.compile('http://pic.sc.chinaz.com/files/pic/pic9/'))
    print(image.get('src'))#连接存在于src的属性里

结果在这里插入图片描述
最后再用requests.get获得该图片并保存即可，保存的文件名以原图片的名字.get(‘alt’)为名。

for i in imagehtml:
	#获得图片连接
    reponseimag = requests.get(url=i.get('href'), headers=headers).text
    reponseimag = reponseimag.encode("ISO-8859-1")
    reponseimag = reponseimag.decode("utf-8", 'ignore')
    sour = ba(reponseimag, 'lxml')
    image = sour.find('img', src=re.compile('http://pic.sc.chinaz.com/files/pic/pic9/'))
    #保存图片
    with open('C:\\Users\\17\\Desktop\\背景图\\{}.jpg'.format(i.get('alt')[0:-2]), 'wb') as fd:
        ima = requests.get(url=image.get('src')).content
        fd.write(ima)

爬取结果在这里插入图片描述
看起来挺令人兴奋的对吧，但是先不要激动，我们的目标是什么，是爬取所有的图片，这么简单的几个图满足不了我们的。那么如何爬取剩下的图呢？让我们进入下一页
在这里插入图片描述
看看网址有什么变化，在进入下一页，看看有什么变化，我想你已经看出来了，我直接网址贴出来

http://sc.chinaz.com/tupian/beijingtupian_2.html#第二页
http://sc.chinaz.com/tupian/beijingtupian_3.html#第三页
http://sc.chinaz.com/tupian/beijingtupian_4.html#第四页
....

没错，他们区别就是最后面的数字的区别，我们就可通过改变它来获得所有的网址用一个for循环就可以完成了

for j in range(1,97):#记住从1开始，不然会出错
    url = 'http://sc.chinaz.com/tupian/beijingtupian_{}.html'.format(j)
    ...

加上这句就可以吧所有的图片全部爬取下来了，最后的结果（图片太多就不一一展示了）
在这里插入图片描述
最后贴上全部的代码：

import requests,lxml,re
from bs4 import  BeautifulSoup as ba
for j in range(1,97):
    url = 'http://sc.chinaz.com/tupian/beijingtupian_{}.html'.format(j)
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
    reponse = requests.get(url=url, headers=headers).text
    #避免字符乱码
    reponse = reponse.encode("ISO-8859-1")
    reponse = reponse.decode("utf-8", 'ignore')
    #获得一个页面的所有大图的链接
    sourhtml = ba(reponse, 'lxml')
    imagehtml = sourhtml.find_all('a', alt=re.compile('图片'), target="_blank",href=re.compile('http://sc.chinaz.com/tupian'))
    for i in imagehtml:
        #获得图片的地址
        reponseimag = requests.get(url=i.get('href'), headers=headers).text
        reponseimag = reponseimag.encode("ISO-8859-1")
        reponseimag = reponseimag.decode("utf-8", 'ignore')
        sour = ba(reponseimag, 'lxml')
        image = sour.find('img', src=re.compile('http://pic.sc.chinaz.com/files/pic/pic9/'))
        #保存文件
        with open('C:\\Users\\17\\Desktop\\背景图\\{}.jpg'.format(i.get('alt')[0:-2]), 'wb') as fd:
            ima = requests.get(url=image.get('src')).content
            fd.write(ima)

乱码解决方法来源：https://blog.csdn.net/qq_44105778/article/details/86021178?utm_source=app
初次写博客，如有错误，请指出，谢谢！

NO17-MONSter
关注
  • 5
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用Requests爬取网页图片并保存
RM_Jin的博客
01-02 8601
目标 爬取糗事百科上的“热图”的图片并保存在一个新建文件夹当中 过程 一、获得当前网页 使用的是requests爬虫，在使用requests库爬取网页中有介绍。 import requests r = requests.get('https://www.qiushibaike.com/imgrank/')#获取网页链接 rtext = r.text #rtext #打开用来查看是否获取成功 二、解析网页并提取图片 这里使用正则表达式，在正则表达式中有介绍。 首先，我们浏览器打开要爬取的网页，审查元素
python爬虫——BeautifulSoup 抓取图片
xiao_lxl的专栏
08-22 9506
python 利用BeautifulSoup 抓取图片# -*- coding: utf-8 -*- """""" import urllib from bs4 import BeautifulSoup #beautifulsoup方法，第三方库的方法，爬找网页 ## 下载网页 def get_content(url): ''' @url:需要下载的网址 下载网址
使用Beautifulsoup爬取摄图网图片
sl01224318的博客
04-21 3305
本人python小菜鸟一枚（可能连菜鸟也算不上，哈哈！）最近在学爬虫，在这里记录一些随笔，希望和大家一起分享，愿和大家一起成长！ Beautifulsoup作为一个强大的解析库，它借助网页的结构和属性等特征来解析网页。有了它，我们可以不用再去写一些复杂的正则表达式，只需要简单的几天语句，就可以完成网页中的某个元素的提取，话不多说，下面以实例来进行说明。 首先我...
用Python中BeautifulSoup爬取翻页式网页图片（爬取海贼王漫画）
麻辣清汤的博客
05-19 1249
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Python3爬取网页图片(BeautifulSoup+requests+urllib.request)
zhj_1121的博客
02-26 2135
Python3爬取网页图片(BeautifulSoup+requests+urllib.request) 背景 使用的第三方库 关键代码，即对应上方的第三方库 开发步骤 1.获取网页的所有的html内容 2.进行筛选处理，获取需要的的标签和属性 3.进行简单的逻辑处理，对上面获得的属性内容进行筛选，获取图片链接 4.通过命令进行爬取 全部代码 总结 背景 看到一个关...
【Python爬虫系列】使用requests爬取页面图片
weixin_42107441的博客
12-17 4427
本人得到公司交代的任务爬取https://www.hltv.org/matches这个网站的logo图标。 初次学习接触python爬虫，如有错误！欢迎指出。 我借鉴于https://blog.csdn.net/IllegalName/article/details/77366508#commentsedit这篇文章做出的。 如有侵权，联系我立马删除。 第一次写博客，请各位大神见谅！  ...
Python基于BeautifulSoup和requests实现的爬虫功能示例
09-18
主要介绍了Python基于BeautifulSoup和requests实现的爬虫功能,结合实例形式分析了Python使用BeautifulSoup和requests库爬取网站指定信息的相关操作技巧,需要的朋友可以参考下
Python基于requests库爬取网站信息
09-17
本篇将深入探讨如何利用`requests`库来爬取网站信息。 首先，要使用`requests`库获取网页内容，最基础的方法是调用`get()`函数。例如，以下代码展示了如何获取百度首页的内容： ```python import requests url = ...
requests与BeautifulSoup爬取网页图片
Travelerwz的博客
10-26 1706
requests+BeautifulSoup爬取网页内容系列&amp;amp;amp;lt;一&amp;amp;amp;gt; 最近一直抽时间在看requests+BeautifulSoup爬取网页内容这一块的内容，所以，打算把自己看的总结一下，分享也是一种学医，给自己做做笔记。 1.首先，我们看一下requests库 requests库主要用于访问网页，这个网上资源比较多，所以我就不多说了，我这直间给出一个连接，大家可以看看。 快速上手req...
Requets模块的使用(爬取简单网页和图片)
学习笔记
09-25 637
Requests 使用入门: requests的底层实现就是urllib. requests在python2 和python3中通用,方法完全一样. requests简单易用. Requests能够自动帮助我们解压(gzip压缩的等)网页内容. Requests 继承了urllib的所有特性.Requests支持HTTP连接保持和连接池,支持使用cookie保持会话, 支持文件上传,支持自动确定响应内容的编码,支持国际化的 URL 和 POST 数据自动编码. -----------------------
Python爬虫实战：使用Requests和BeautifulSoup爬取网页内容
weixin_51151534的博客
03-07 2609
Python爬虫技术是网络爬虫中的一种，它可以从互联网上抓取各种网页信息，如文本、图片、视频等，并将它们存储在本地数据库中。通过学习本文，读者可以了解到Python爬虫开发的基本流程，并了解到如何使用Python的相关库来实现。在上面的代码中，我们使用了标签选择器和属性选择器来选择网页中的标题和正文内容。在上面的代码中，我们指定了目标网站的URL，并设置了请求头部信息。在上面的代码中，我们使用Python的with语句打开文件，并将爬取到的标题和正文内容写入到文件中。2.发送HTTP请求获取网页内容。
python requests用法总结
benhuo931115的博客
04-05 2650
python requests用法总结requests是一个很实用的Python HTTP客户端库，编写爬虫和测试服务器响应数据时经常会用到。可以说，Requests 完全满足如今网络的需求本文全部来源于官方文档 http://docs.python-requests.org/en/master/ 安装方式一般采用$ pip install requests。其它安装方式参考官方文档HTTP
[python]利用BeautifulSoup进行简单图片抓取
johnny880730的博客
03-16 5036
官网：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
爬虫小案例04—使用Beautiful Soup批量获取图片
小伟的博客
02-26 3273
图片下载方式
Python+BeautifulSoup抓取暴走漫画页面图片
在代码身上，用心去飞翔
01-13 8993
使用Python中的BeautifulSoup（bs4）包抓取暴走漫画网站中的热门帖子中的图片。 首先附上参考资料，之前在OSC上有人写了个抓取豆瓣妹子图片的帖子，参考人家的代码，自己重新弄了一下，当然不能像豆瓣妹子那样直接搜索所有的标签啦，因为网页中含有广告啊，头像啊，表情之类的，我只想抓取热门中的内容图片嘛。 这时候就要充分的利用BeautifulSoup啦，先附上参考资料 首先分析暴走
python爬虫（爬游民星空图片）_beautifulsoup爬虫模版
500.13 Server too busy
04-01 2247
import requests,urllib from bs4 import BeautifulSoup ans = 0 for page in range(1,17): if page==1: url='http://www.gamersky.com/ent/201602/713895.shtml' else: url = 'htt
python爬虫学习笔记（一）-- beautifulsoup 解析网页文件下载网页图片
梦否
02-20 2649
上篇解决了编码问题，下面在得到网页文件之后，我们需要解析我们的文件，得到我们需要的内容。这里使用beautifulsoup模块。 import requests from bs4 import BeautifulSoup import sys print(sys.getdefaultencoding())#utf-8 response = requests.get("https://www....
BeautifulSoup复习练习爬取图片错误及改正
高智商坏蛋的博客
07-11 2725
需求： 根据目标网站“http://www.youzi4.cc/”为基础，抓取首页页面的图片并下载到本地，并命名为图片标签中alt="命名内容" 环境：win7 、pycharm、python2、 所用到的库：urllib 、 BeautifulSoup、requests、 其中遇到的错误：   #&lt;img alt="大腿上的玫瑰蛇纹身图案_大腿纹身图案" height="14...
请基于python写一个网站爬取数据的代码
最新发布
08-11
### 回答1： 这是一个使用 Python 的爬虫代码示例，它使用了 requests 库和 BeautifulSoup 库来爬取网站数据： ```python import requests from bs4 import BeautifulSoup url = "https://www.example.com" # 要爬取的网站URL page = requests.get(url) soup = BeautifulSoup(page.content, 'html.parser') # 使用 BeautifulSoup 来查找页面中的特定元素 data = soup.find_all('div', class_='example-class') # 打印爬取的数据 print(data) ``` 请注意，需要先安装 requests 库和 BeautifulSoup 库,可以通过 pip install requests bs4 安装。 此外，在爬取数据时需要遵守相关的网络爬虫法规，并且在爬取数据时需要小心不要给网站造成不必要的负担。 ### 回答2： 以下是基于Python的一个简单的网站爬取数据的代码示例： ```python import requests from bs4 import BeautifulSoup def scrape_website(url): # 发起GET请求获取网页内容 response = requests.get(url) # 使用BeautifulSoup解析网页内容 soup = BeautifulSoup(response.content, 'html.parser') # 在这里添加你需要爬取的数据的逻辑 data = soup.find('div', class_='data').text # 这里只是一个示例，假设我们要爬取网页中的类为'data'的div标签的文本内容 # 返回爬取到的数据 return data # 定义要爬取的网站URL website_url = "https://www.example.com" # 调用爬取函数 scraped_data = scrape_website(website_url) # 打印爬取到的数据 print(scraped_data) ``` 这是一个基本的网站爬取代码，你可以根据自己的实际需求进行修改和扩展。需要注意的是，合理使用网站爬虫，并遵守相关网站的使用规则和法律法规。 ### 回答3： 下面是一个基于Python的简单网站爬取数据的示例代码： ```python import requests from bs4 import BeautifulSoup def main(): # 设置请求头信息，模拟真实浏览器请求 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36' } # 发送 GET 请求获取网页内容 url = 'http://example.com' # 替换成你想要爬取的网页 URL response = requests.get(url, headers=headers) # 解析网页内容 soup = BeautifulSoup(response.text, 'html.parser') # 根据网页结构和需要获取的数据，使用合适的选择器选择元素并提取数据 data = soup.select('.classname') # 替换成你想要选择的元素的类名、选择器等 for item in data: print(item.text) # 打印提取的数据，可以根据实际需求进行处理保存等操作 if __name__ == '__main__': main() ``` 请替换代码中的`url`为你想要爬取的网页的URL，通过选择合适的选择器提取你需要的数据，并根据需求进行相应的处理，如保存到文件、存储到数据库等。注意，爬取网站时要遵守网站的爬虫规则，不要过度频繁地发送请求，以免对网站造成不必要的负担。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值