【爬虫】scrapy中import selenium 失败的解决方案

最新推荐文章于 2024-05-31 21:24:28 发布
最新推荐文章于 2024-05-31 21:24:28 发布
阅读量1.4k 收藏
点赞数
分类专栏： 实战区 爬虫 文章标签： scrapy selenium 报错处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yao09605/article/details/94158913
版权

在使用selenium作为scrapy中间件的时候会发现import selenium失败，只有在scrapy中失败（不是所有人都有这个问题，我运气可能比较差）

ModuleNotFoundError: No module named 'selenium'

前提是已经安装了selenium，没安装的话

pip install selenium

打开pycharm中的preference，windows中应该是settings，找到Project interpreter
在这里插入图片描述
发现里面果然没有selenium，左下角+号，搜索selenium
在这里插入图片描述
点击install Package就可以了
再run的时候就是

Process finished with exit code 0
迷迷迷迷路的鹿鹿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
scrapy_selenium的常见问题和解决方案
ip16yun的博客
08-23 1840
scrapy_selenium是一个scrapy中间件，它可以让我们在scrapy的spider中使用selenium的webdriver来发送请求和获取响应。它的主要优点是可以处理一些需要执行JavaScript或者模拟用户交互的网页，比如点击按钮、下拉滚动条、填写表单等。它的主要缺点是速度较慢，占用资源较多，容易被反爬检测。scrapy_selenium是一个非常强大和灵活的库，它可以让我们使用selenium的webdriver来爬取动态网页。
pyhon项目中，使用pip安装第三方插件之后，明明使用pip list可以查到，但是在项目中import时仍然找不到怎么办？
summer_my_sunshine的博客
11-27 7929
明明我此前已经使用pip安装了selenium，使用pip3 list也可以看到，但是为什么import的时候却还是找不到？
【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
最新发布
m0_67844671的博客
05-31 3685
Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
已安装selenium库，但执行from selenium import webdriver时报“ModuleNotFoundError: No module named ‘selenium‘”
u011537504的博客
10-12 7458
已安装selenium库，但执行from selenium import webdriver时报“ModuleNotFoundError: No module named 'selenium'”
安装Selenium后运行报错：ModuleNotFoundError: No module named ‘selenium‘解决方法
weixin_44996886的博客
06-10 1万+
安装Selenium后运行报错：ModuleNotFoundError: No module named ‘selenium‘解决方法
python-导入selenium包报错 line 21, in do_import module = self._system_import(name, *args, **kwargs) —亲测有效
weixin_47055922的博客
08-24 9689
此文以导入selenium包报错为例，适合大多数导入包报错问题 一、问题描述： 1、我在利用python打开网页时，提示需要selenium包，然后我进入cmd窗口，利用 pip install selenium 该命令安装selenium 包并且提示： 接着安装Chrome的浏览器驱动配置chromedriver，这里附上链接：https://www.cnblogs.com/balllyh/p/12191375.html，需要的小伙伴请自行查看。 安装好之后在pycharm中运行如下py..
ModuleNotFoundError: No module named 'selenium'解决方法
热门推荐
wanglijia26的专栏
05-09 8万+
import selenium 报错，如下： 解决方法： 打开cmd窗口，使用命令“pip install selenium”安装selenium，然后用命令“pip show selenium”查看是否安装成功。 再次执行，OK ...
python scrapy爬虫框架 selenium脚本 自动化爬虫工具案例
01-08
from selenium import webdriver path = "C:\\Program Files\\Google\\Chrome\\Application\\chromedriver.exe" driver = webdriver.Chrome(executable_path=path) driver.get( 'https://wwwxxxx.com/') ...
scrapy利用selenium爬取豆瓣阅读的全步骤
12-16
首先创建scrapy项目 命令：scrapy startproject douban_read 创建spider 命令：scrapy genspider ...import scrapy import re, json from ..items import DoubanReadItem class DoubanSpiderSpider(scrapy.Spider): n
Selenium 爬虫笔记
11-06
结合其他工具如Scrapy-Splash，Selenium 可以实现分布式爬虫，将任务分配到多台机器上，提高爬取速度和效率。 ### 9. 示例代码 以下是一个简单的Python示例，展示如何使用Selenium打开网页并查找元素： ```python...
scrapy爬虫始终定位不到元素
12-21
以下是一段结合 Selenium 和 Scrapy 的示例代码，用于解决动态加载元素的定位问题： ```python from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities ...
selenium爬虫技术
02-14
在我们的祖国——这个充满活力和创新的互联网环境中，Selenium爬虫技术犹如花园中的花朵，绽放出独特的光彩。 Selenium的核心组件包括WebDriver和Selenium IDE。WebDriver是一个开放源代码的API，支持多种浏览器如...
解决Selenium包安装成功却无法导入的问题
lishuaigell的博客
11-04 7632
最近安装了selenium工具和驱动程序EdgeDriver，本来想来爬取动态网页数据的，可在安装完selenium，准备将其导入pycharm的时候发现 怎么也导入不了一直报错​​​​​​​看，我明明安装成功了，包都有显示了，把鼠标放在红线上面一直提示我安装，也一直安装成功，就是用不了。我就纳闷了为啥导入不了啊，瞎搞了半天查了好多网上资料，还是不行莫非我跟其他同学不一样？他们是用chromedriver的,而我是用edgedriver导致的吗？ 查了一下官方文档，也没有问题，是版本对应...
Selenium自动化测试框架常见异常分析及解决方法
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
03-10 1667
现象: pycharm中输入from selenium import webdriver, selenium标红 原因1: pycharm使用的虚拟环境中没有安装selenium, 解决方法: 在pycharm中通过设置或terminal面板重新安装selenium 原因2: 当前项目下有selenium.py,和系统包名冲突导致, 解决方法：重命名这个文件
selenium报错及解决办法收集篇
weixin_42848945的博客
08-22 2096
常见selenium报错及解决方案收集
Python Selenium常见的报错以及措施
weixin_47420447的博客
01-07 1188
有可能原来的URL已经失效或者过期了，于是会自动跳转到一个新的网页，新的网页往往在脚本程序中既定的跪着之外。很可能是服务器觉得你这个客户端给他带来的负担太大了，它受不了了。或者把程序放到不同的网络的不同的电脑上，多个网络多个电脑分担工作、越快越慢，越慢越快，快就是慢，就是快，所以越慢就越快。始终无法成功等待元素出现就会出现这个问题。
python使用scrapy爬虫总是提示ModuleNotFoundError: No module named ‘‘
lumyzml的博客
11-04 7061
使用scrapy创建爬虫工程后，编译代码都是正常的，目录结构如下： 但用命令行执行的时候总是提示错误 参考论坛上的多种方法修改目录名，项目名，增加item的path路径均无效，最后无意发现在item前面加'..'成功解决！ 但这样直接编译会报错，通过命令行执行才能成功。 推断：被调用的py文件在上一级目录，需要在对象名称前加“..”。 参考文章： 文章一： 使用scrapy做爬虫遇到的一些坑：No module named items以及一些解决方案 https://blo..
Scrapy中使用Selenium
小墨蛇的博客
05-20 936
3. 在Scrapy的Spider中使用Selenium：在Spider中使用Selenium可以通过在Spider中重写start_requests方法，在该方法中使用Selenium来请求网页并解析网页内容。2. 下载浏览器驱动：Selenium需要浏览器驱动来控制浏览器，可以下载对应浏览器的驱动，比如Chrome浏览器的驱动可以在这里下载：http://chromedriver.chromium.org/downloads。1. 安装Selenium库：可以通过pip安装selenium库。
记录一个selenium和scrapy 框架一起使用出错的记录,以及解决它的方法
weixin_45122740的博客
12-23 6634
报错信息是 “DevTools listening on ws://127.0.0.1:56330/devtools/browser/7f4b459a-f6eb-4314-8ddc-a5e627e3457a [1152:7936:1223/203758.618:ERROR:device_event_log_impl.cc(211)] [20:37:58.618] USB: usb_device_handle_win.cc:1020 Failed to read descriptor from node co
scrapy结合selenium怎么使用selenium的定位方法
04-25
对于使用Scrapy结合Selenium进行网页爬取的情况，可以使用Selenium的定位方法来定位需要爬取的元素。在Scrapy中可使用Selenium的WebDriver来控制浏览器进行网页爬取，然后通过定位器来定位需要爬取的元素。比如，可以使用以下方式来使用Selenium的定位方法： 首先，导入Selenium的webdriver库： ``` from selenium import webdriver ``` 然后，创建一个webdriver对象，使用get方法打开需要爬取的网页： ``` driver = webdriver.Chrome() driver.get(url) ``` 接下来，使用Selenium的定位方法来定位需要爬取的元素，例如，可以使用find_element_by_xpath方法来定位： ``` element = driver.find_element_by_xpath(xpath) ``` 最后，利用Scrapy的Selector来定位元素的内容并进行处理： ``` sel = Selector(text=element.get_attribute('innerHTML')) ``` 需要注意的是，Selenium会打开浏览器进行爬取，因此对于大规模爬取而言性能可能会有一定影响，另外还需要注意网站是否反爬取，以及是否需要设置一定的爬取间隔来避免被封禁。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值