第一个爬虫（将图片保存到指定位置，改用beautiful soup，网页翻页 ）

最新推荐文章于 2022-03-02 22:37:58 发布
最新推荐文章于 2022-03-02 22:37:58 发布
阅读量918 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39416129/article/details/82050449
版权

1.原始版本

不同的网页编码可能不同。

2.改成requests.get 

据消息 urlopen已经过时，现在尝试改成request.get

3.指定一下下载的位置，比如下载到

4.再尝试试试beautiful soup

5.每个网页上只有一张图片，需要翻页才能看到下一张图

  • 可以自动在写一个自动获取网页页数。

 

大喵喵吼
关注
211：Python学习之爬虫篇——用selenium工具爬取某旅游网站评论储存到记事本（可结合BeautifulSoup方法解析）
weixin_41559617的博客
06-21 665
人生苦短，我用Python。时年六月，岁属夏至......（跑偏了！）这两天在做旅游网站评论爬取，用作***的满意度调查，IPA分析巴拉巴拉的。 首先，要用到Python3.7、Sublime Text 3、Google Chrome（81.0.4044.138）、Chromewebdriver （为啥提到浏览器版本号，因为要对应的Chromewebdriver）Chromewebdriver下载地址 提醒一下，Chromewebdriver需要chrome以及python的执行文件在同一目录下，如果
爬虫教程（ 6 ） --- 爬虫 进阶、扩展
墨鱼菜鸡
07-11 6864
1. 前言 1. 先看一个最简单的爬虫。 import requests url = "http://www.cricode.com" r = requests.get(url) print(r.text) 2. 一个正常的爬虫程序 上面那个最简单的爬虫，是一个不完整的残疾的爬虫。因为爬虫程序通常需要做的事情如下： 1)给定的种子 URLs，...
python爬虫——beautifulsoup保存图片
白切鸡 PYTHON
09-04 1786
import requests import os import random from openpyxl import Workbook import urllib.request from bs4 import BeautifulSoup #获取网页信息 def get_html(url): head = { 'Connection': 'keep-alive', ...
python跳转下一页_用Beautifulsoup转到下一页
weixin_36084686的博客
01-14 483
我对python还不熟悉，我已经看过一些脚本的例子。我开始我的脚本，它工作得很好，但现在我想增加一些额外的，我会感谢你的帮助。在def listar_videos(url):codigo_fonte = abrir_url(url)soup = BeautifulSoup(abrir_url(url))content = BeautifulSoup(soup.find("div", { "id" ...
selenium+beautifulsoup模拟翻页
sf131097的专栏
09-27 1468
#coding=utf-8 import unittest from selenium import webdriver from bs4 import BeautifulSoup class douyuSelenium(unittest.TestCase): def setUp(self): self.driver = webdriver.PhantomJS() ...
用Python中BeautifulSoup爬取翻页式网页图片（爬取海贼王漫画）
麻辣清汤的博客
05-19 1294
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
使用BeautifulSoup方法获取豆瓣网页图片并保存图片到本地
qq_42379006的博客
06-10 1355
# -*- encoding:utf-8 -*- # 方法一，使用urllib.urlretrieve() 方法直接将远程数据下载到本地 import requests from bs4 import BeautifulSoup import urllib import os #把豆瓣搜索，明星在地址栏，对应的那个数字，填入下面str（）的括号内 address = str(1274477) ...
python爬虫训练项目2-豆瓣电影Top250（适合初学者）
Ethan奕诚
10-24 3291
尝试对豆瓣电影Top250进行爬虫训练，整体爬虫思路如下： 1.对网页进行请求（豆瓣电影Top250为get请求，用requests.get） 2.对网页内容进行解析（正则表达式或Beautifulsoup） 3.对解析的数据进行保存（pandas或xlwt） 此次用Beautifulsoup解析，xlwt写入数据并保存，Beautifulsoup相对于正则表达式能比较容易的解析想要的网页内容，对新手友好；pandas也可以写入数据并做保存，pandas最合适的场景应该是数据处理，所以这里就不大材小
一周爬虫集训任务二：学习beautifulsoup+xpath
qq_30006749的博客
04-09 799
一周爬虫集训任务二：学习beautifulsoup+xpath1 任务2 beautifulsoup2.1 简介2.2 安装参考 1 任务 Task2（2天） 2.1 学习beautifulsoup 1. 学习beautifulsoup，并使用beautifulsoup提取内容。 2. 使用beautifulsoup提取丁香园论坛的回复内容。 3. 丁香园直通点：http://www.dxy.cn...
python爬虫实战——爬取股票个股信息
chaojiao3138的博客
07-31 2959
爬虫爬取网页信息的思路：发送网页端请求—>获取响应内容—>解析内容—> 获取想要的数据—>保存数据 这次我们要实现的是爬取静态网页的股票数据，首先是获取沪深A股的所有股票代码，再用这些股票代码获取相应股票的信息 东方财富网有所有个股的股票代码（沪深A股所有股票） 查看其网页源代码 在网页源代码中可以搜索到相应的元素，判断其是数据是静态的 接下来是获取每只个股的信息，由于周...
Python爬虫实例（3）-用BeautifulSoup爬取多个可翻页网页上的多张照片
肥猫
12-13 1万+
# -*- coding: utf-8 -*- #导入第三方包和模块 import requests from bs4 import BeautifulSoup import os#在本地新建一个文件夹，命名为test_img，用以保存下载的图片 folder = 'test_img' if not os.path.exists(folder): os.makedirs(folder)#定义
使用BeautifulSoup实现的图片爬虫
firecat
07-12 599
主要用了BeautifulSoup获取图片链接，然后使用urllib.retrieve()这个函数把图片下载到对应的文件夹from bs4 import BeautifulSoup from urllib.request import urlopen import urllib import re import osdef get_web_bsobj(target_url): req =
使用webdriver和beautifulsoup下载国家地理图片
weixin_34023982的博客
05-13 163
很久之前下载过,最近再看国家地理每日一图的时候,发现图片的形式变了,见http://photography.nationalgeographic.com/photography/photo-of-the-day 看到上面的previous链接,忽然想到自己最近也在研究webdriver,顺便可以使用之下载图片   使用beautifulsoup下载图片的原理,就是使用urllib打开目标UR...
python爬虫利用requests和BeautifulSoup爬取美女图片
lixiaosenlin的专栏
05-30 4761
今天给大家分享一篇利用python爬取美女图片的文章 环境准备 开发环境：Windows 7 开发工具：Pycharm python版本：python3.7 第三方库：requests，Beautifulsoup 网站源码分析 首先在chrome浏览器中打开帅啊网里面的美女类别下的网址：http://www.shuaia.net/meinv/，打开后会看到各种类型的美女，随便选择一个...
python爬取图片怎么指定位置_python抓取网页图片并放到指定文件夹
weixin_33504324的博客
02-10 606
python抓取网站图片并放到指定文件夹代码如下:# -*- coding=utf-8 -*-import urllib2import urllibimport socketimport osimport redef Docment():print u’把文件存在E:\Python\图(请输入数字或字母)’h=raw_input()path=u’E:\Python\图’+str(h)if not ...
网络图片爬虫(几个简单步骤实现网页图片的爬取，详细步骤，超详细，简单易懂)
热门推荐
张茂洋的博客
03-02 2万+
网络图片爬取 前提准备 安装好开发库：Beautifulsoup4和requests，这两个库主要用于python爬虫，简单安装过程点这里开发库安装 主要分为以下几个部分： 1. 分析网页，查看索要爬取网页的源代码(按F12或者CTRL+SHIFT+C)，选中你想要爬取的图片中的任意一个，下面以 爱奇艺的首页为例，注意下图： 可以看到图片标签，标识属性class，图片的url属性src（这三个接下来会用到） 2. 读取网页的内容 代码如下： #导入两个开发库 import urllib.request
Python爬虫基础之requests+BeautifulSoup+Image 爬取图片并存到本地（五）
Blessy_Zhu的博客
12-22 9186
刚学python不久，写了一个自己认为还比较简单易懂“爬取图片的方式，并保存本地指定路径下”。我爬取的内容是“Yestone邑石网”的部分图片链接如下，https://www.yestone.com/gallery/1501754333627 爬取的页面如图1所示。 　　 图1 爬取的Python代码如下 import requests from bs4 import BeautifulSoup ...
[Python][爬虫03]requests+BeautifulSoup实例:抓取图片并保存
身披白袍的博客
05-07 5263
上一篇中，安装和初步使用了requests+BeautifulSoup，感受到了它们的便捷。但之前我们抓取的都是文字信息，这次我们准备来抓取的是图片信息。
使用Python爬虫怎么将多个网页图片保存到本地
最新发布
05-30
如果需要将多个网页图片保存到本地，可以在遍历所有图片URL的时候，使用循环将每个图片下载并保存到本地。 下面是一个示例程序，可以从多个网页中提取图片URL并将其保存到本地： ```python import requests from bs4 import BeautifulSoup import os # 目标网页URL列表 urls = [ 'https://www.example.com/page1', 'https://www.example.com/page2', 'https://www.example.com/page3' ] # 创建目标文件夹 if not os.path.exists('images'): os.mkdir('images') # 遍历所有网页URL for url in urls: # 发送请求并获取HTML文档 response = requests.get(url) html_doc = response.content # 解析HTML文档 soup = BeautifulSoup(html_doc, 'html.parser') # 获取所有图片标签 img_tags = soup.find_all('img') # 遍历所有图片标签，下载并保存图片 for img_tag in img_tags: img_url = img_tag.get('src') img_name = img_url.split('/')[-1] img_path = os.path.join('images', img_name) img_data = requests.get(img_url).content with open(img_path, 'wb') as f: f.write(img_data) print(f'Saved {img_path}') ``` 这个程序首先定义了一个网页URL列表，然后遍历所有网页URL。在遍历每个网页URL的时候，程序发送请求获取HTML文档，并使用 `BeautifulSoup` 解析HTML文档，获取所有图片标签。接下来，程序遍历所有图片标签，获取图片的URL和名称，并下载并保存到本地文件夹中。最后，程序输出保存成功的消息并结束。 需要注意的是，如果不同网页中的图片存在重名的情况，可能会导致文件名重复，需要根据实际情况进行处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值