selenium+python 爬取网络图片(1) -- soso、谷歌、好搜

最新推荐文章于 2024-07-16 21:58:18 发布
最新推荐文章于 2024-07-16 21:58:18 发布
阅读量1w 收藏 16
点赞数 4
分类专栏： 疑难问题 Python 文章标签： selenium python 爬虫 图片 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/seanwang_25/article/details/43317147
版权
本文介绍如何使用Python的Selenium库爬取soso、谷歌和好搜的图片。针对动态加载的网页，Selenium能模拟浏览器行为加载完整内容。文中提供了一个简单的soso搜索引擎图片爬虫代码示例，并提及爬取百度图片的方法将在后续博文中讲解。
摘要由CSDN通过智能技术生成

做图像处理的朋友，都时常需要收集整理大量的图像数据集。做科研时有各种现有的标准数据集大家都直接拿来用，但是工程上却经常需要自己收集图片，从网上爬取图片便成了比较常见的任务。为了用python完成这个任务，需要解决如下两个问题：


1. 图片素材源自哪里呢？第一直觉就是搜索引擎里的图片，比如要收集手机的图片，则进入搜索引擎搜索关键字即可得到大量相关图片。


2. 动态网站的内容往往是通过ajax异步加载，直接用python中urllib库read到的内容不完整，且需要的内容基本都是异步加载进来的，直接获取不到。当然，有些任务可能只需处理些静态网页，但不幸的是，现在动态网页基本是主流，且我们爬图片的网站图片基本都是ajax加载的。所以如何解决爬取动态网站的问题呢？回答是采用selenium库模拟浏览器打开网页加载完全后再处理。这个解决方案可以参考

最低0.47元/天 解锁文章
Sean_SJTU
关注
  • 4
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
爬虫案例：手把手教你爬取图片
一行玩python
11-05 9702
大家好，我是一行今天是小白菜同学的投稿，老规矩一个赞10积分一、确认目标和思路：写在最前面：程序很简单，重要的是思路以及对错误的分析1.确认目标和大体思路： 今天我们需要爬取的网站是：h...
Python爬取图片
lidiaosi的博客
01-19 1万+
爬取网站https://image.baidu.com/
用python写一个爬虫，爬取google中关于蛇的照片
最新发布
roc_ever的博客
07-16 1221
请注意，这种爬取行为可能违反Google的使用条款，因此建议在合法和允许的情况下使用。以下是一个基本的Python爬虫示例，使用Requests库发送HTTP请求，并使用Beautiful Soup库解析HTML内容。fetch_google_images 函数负责发送HTTP GET请求到Google图片搜索页面，并使用Beautiful Soup解析页面内容，提取图片链接。合法性和使用政策：请遵循Google的使用政策和法律法规，确保你的爬取行为合法。
Python爬虫实战（五）：根据关键字爬取某度图片批量下载到本地（附上完整源码）
热门推荐
努力让自己发光，对的人才能迎着光而来
08-21 14万+
Python爬虫实战（五）：根据关键字爬取某度图片批量下载到本地（附上完整源码）
Python应用开发——爬取网页图片
ShenZhen_zixian的博客
09-06 4万+
当我们需要从网页上面下载很多图片的时候，一个一个手动保存实在是太累人了。那么有没有批量下载的办法呢？ 答案是有的，Python爬虫就可以完美的做到这一点，而且作为一个Python的初学者，我可以很负责任的告诉你，这门语言入门挺简单的，特别是对于那些有其他编程语言经验的人。
Python爬虫：简易图片爬取
qq_73980336的博客
10-06 3124
对该页面往下翻，并复制以下信息粘贴在header中（注：粘贴时优先打三对双引号注释后再粘贴，这样能够最高程度避免粘贴胡乱换行的情况）print("正在保存第" + str(pic_name))print("正在保存第" + str(pic_name))然后将代码整理好，再复制负载内容，粘贴进代码里（注：这里要删除没有内容的名称）page_num = input("请输入你要抓取的页数:")page_num = input("请输入你要抓取的页数:")fold_name = input("请输入图片名:")
python爬取谷歌图片_selenium+python 爬取网络图片(1) -- soso、谷歌、好搜
weixin_39824223的博客
12-18 320
做图像处理的朋友，都时常需要收集整理大量的图像数据集。做科研时有各种现有的标准数据集大家都直接拿来用，但是工程上却经常需要自己收集图片，从网上爬取图片便成了比较常见的任务。为了用python完成这个任务，需要解决如下两个问题：1. 图片素材源自哪里呢？第一直觉就是搜索引擎里的图片，比如要收集手机的图片，则进入搜索引擎搜索关键字即可得到大量相关图片。2. 动态网站的内容往往是通过ajax异步加载，直...
python3+selenium爬取百度图片
12-21
python3+selenium爬取百度图片 from selenium import webdriver from lxml import etree from urllib import request import time class Baidu_pic(object): def __init__(self,kw): self.kw = kw options = ...
selenium+python爬取天猫商品.zip
06-03
所上传的资源是selenium+python爬取天猫商品，内含源代码+mysql数据库脚本+详细部署视频，另外还对过程中可能出现的问题进行了汇总，对于正在学习这方面的你是一个很好的选择，希望对你有所帮助。
Python使用Selenium+BeautifulSoup爬取淘宝搜索页
09-20
主要为大家详细介绍了Python使用Selenium+BeautifulSoup爬取淘宝搜索页，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
(Win10) 使用 Selenium + Python + Chrome 爬取数据并存入 MySQL 的尝试-附件资源
03-02
(Win10) 使用 Selenium + Python + Chrome 爬取数据并存入 MySQL 的尝试-附件资源
Python爬虫实战 | (21) Scrapy+Selenium爬取新浪滚动新闻-附件资源
03-02
Python爬虫实战 | (21) Scrapy+Selenium爬取新浪滚动新闻-附件资源
超级简单，四步带你入门爬虫，爬取图片
guguo666的博客
04-30 1万+
四步带你入门爬虫，爬取图片 本人还是学生，python小白。其实很多基础还不牢固，但是对爬虫比较有兴趣，在这里也希望能帮助大家入门爬虫,毕竟还是比较有趣。需要一些html基础，不过这个html也很简单。 完整代码块 import requests from lxml import etree import os if __name__ == '__main__': url = 'https://pic.netbian.com/4kdongman/' #爬取到页面源码数据 header
一分钟教会你如何用Python爬取图片，学到就是赚到！
m0_48891301的博客
10-22 3369
如果你想学习Python帮助你实现自动化办公，或者准备学习Python或者正在学习，下面这些你应该能用得上，有需要可以领取。① Python所有方向的学习路线图，清楚各个方向要学什么东西② 100多节Python课程视频，涵盖必备基础、爬虫和数据分析③ 100多个Python实战案例，学习不再是只会理论④ 华为出品独家Python漫画教程，手机也能学习⑤历年互联网企业Python面试真题,复习时非常方便文末有领取方式哦。
超简单的python爬虫教程来了！批量爬取图片，机器学习必备技能（附资源）
Python单行客的博客
11-04 3895
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（学习教程文末领取哈）
初学Python只需4步，爬取网站图片
javasdn的博客
04-21 5491
这里也说明了，为什么要将抓取到的图片url存到list里面了。这个方法是获取到请求的这个URL所返回的网页源代码信息数据，返回值是bytes类型时，要将其转换成utf-8才能正常显示在python程序中，所以还要调用decode()方法进行解码。再例如，我在一开始设定的规则中是没有加上http开头的，结果抓到一些图片URL是相对路径的数据，导致后面是无法访问URL报错的。这里就再次说明要新建文件夹的重要性，新建文件夹后，这个目录下是全新空白的，不用考虑生成的文件名会不会和原有文件名重复的问题。
python爬虫 爬取网页图片
m0_56051805的博客
12-22 1万+
python爬虫爬取网页上的图片
网络图片爬虫(几个简单步骤实现网页图片的爬取，详细步骤，超详细，简单易懂)
张茂洋的博客
03-02 2万+
网络图片爬取 前提准备 安装好开发库：Beautifulsoup4和requests，这两个库主要用于python爬虫，简单安装过程点这里开发库安装 主要分为以下几个部分： 1. 分析网页，查看索要爬取网页的源代码(按F12或者CTRL+SHIFT+C)，选中你想要爬取的图片中的任意一个，下面以 爱奇艺的首页为例，注意下图： 可以看到图片标签，标识属性class，图片的url属性src（这三个接下来会用到） 2. 读取网页的内容 代码如下： #导入两个开发库 import urllib.request
Selenium+Python测试键盘操作---全选、复制、剪切、粘贴到txt文档
07-12
你可以使用Selenium和Python来模拟键盘操作，实现全选、复制、剪切和粘贴的功能。下面是一个示例代码： ```python from selenium import webdriver from selenium.webdriver.common.keys import Keys # 启动浏览器 driver = webdriver.Chrome() # 打开txt文档 driver.get("file:///C:/path/to/your/txt/file.txt") # 全选文本 text_area = driver.find_element_by_xpath("//textarea") # 假设文本框是textarea元素 text_area.send_keys(Keys.CONTROL, 'a') # 复制文本 text_area.send_keys(Keys.CONTROL, 'c') # 剪切文本 text_area.send_keys(Keys.CONTROL, 'x') # 粘贴文本到txt文档 driver.get("file:///C:/path/to/your/txt/file.txt") # 打开txt文档 text_area = driver.find_element_by_xpath("//textarea") # 假设文本框是textarea元素 text_area.send_keys(Keys.CONTROL, 'v') # 关闭浏览器 driver.quit() ``` 请注意，上述示例中使用的是Chrome浏览器和ChromeDriver。你需要根据你的浏览器类型和版本下载对应的WebDriver，并将WebDriver的路径配置到系统环境变量中。 此外，你需要将`"file:///C:/path/to/your/txt/file.txt"`替换为你自己的txt文件的路径。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值