【爬虫】scrapy中import selenium 失败的解决方案

最新推荐文章于 2024-05-31 21:24:28 发布
最新推荐文章于 2024-05-31 21:24:28 发布
阅读量1.4k 收藏
点赞数
分类专栏： 实战区 爬虫 文章标签： scrapy selenium 报错处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yao09605/article/details/94158913
版权

在使用selenium作为scrapy中间件的时候会发现import selenium失败，只有在scrapy中失败（不是所有人都有这个问题，我运气可能比较差）

ModuleNotFoundError: No module named 'selenium'

前提是已经安装了selenium，没安装的话

pip install selenium

打开pycharm中的preference，windows中应该是settings，找到Project interpreter
在这里插入图片描述
发现里面果然没有selenium，左下角+号，搜索selenium
在这里插入图片描述
点击install Package就可以了
再run的时候就是

Process finished with exit code 0
迷迷迷迷路的鹿鹿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
关于在anaconda下安装selenium后import报错问题
PJ填坑手记
07-26 5094
我的anaconda下安装了两个python版本，即3.X和2.X共存，在用pip install selenium 安装selenium包后，默认安装在2.X环境下，因此，在3.X环境中调用，报错了，报错问题如下： ImportError: No module named selenium 对此，做法如下，在CMD中切换python版本： activate py3 然后再重新安装se
python安装selenium报错_新手用Python运行selenium的常见问题
weixin_30126739的博客
01-29 3849
1.更换Python版本打开pycharm，点击 file——setting——project项目名——project Interpreter,点击右侧的设置，如下图选择新Python版本的安装路径。如果location提示“environment location directory is not empty”,导致无法保存。则将location路径的文件夹删掉，然后再重新设置就可以保存了。2....
scrapy_selenium的常见问题和解决方案
ip16yun的博客
08-23 1840
scrapy_selenium是一个scrapy中间件，它可以让我们在scrapy的spider中使用selenium的webdriver来发送请求和获取响应。它的主要优点是可以处理一些需要执行JavaScript或者模拟用户交互的网页，比如点击按钮、下拉滚动条、填写表单等。它的主要缺点是速度较慢，占用资源较多，容易被反爬检测。scrapy_selenium是一个非常强大和灵活的库，它可以让我们使用selenium的webdriver来爬取动态网页。
【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
最新发布
m0_67844671的博客
05-31 3685
Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
selenium报错
weixin_34406061的博客
02-23 228
Python 2.7.15 selenium 2.53.6 Firefox 47.0.1 pycharm 2017.3.7 # coding:utf-8 from selenium import webdriverimport time driver =webdriver.Firefox() driver.get("https://www.baidu.com") time.sleep...
pycharme 加载不了selenium 模块，不能 import webdirver 解决方法
qq_42412061的博客
11-15 1785
有些小伙伴们在创建项目，运行脚本提示找不到selenium时，首先我们要下载了selenium，我们去按下win+R（win就是开始菜单那个键） 如图所示 这样就下载完成selenium了 有些小伙伴下载了还是不能用， 1，找到下图所示的 Settings 2,点击如下所示的3 双击pip 进入下图页面4 下载成功后会提示 有些小伙伴该说了，我的selenium有的项目能用，有的不能用，其实每个项目都要填上selenium 5 稍等一会会发现红色的波浪线没有了 ---------------------
pycharm + selenium + python 导入selenium 包报错解决办法
mangoboi521的博客
11-25 1556
pycharm + selenium + python 提示 Unresolved reference 'webdriver' 解决办法 尝试使用python + selenium + pycharm 做自动化测试，遇到的第一个问题是导入包直接报错。一下是解决方法 命令行pip install selenium 安装了selenium。但是使用pycharm 新建一个测试项目后并新建一个test01.py 文件 在文件中导入selenium 包，from selenium import webdriv
python scrapy爬虫框架 selenium脚本 自动化爬虫工具案例
01-08
from selenium import webdriver path = "C:\\Program Files\\Google\\Chrome\\Application\\chromedriver.exe" driver = webdriver.Chrome(executable_path=path) driver.get( 'https://wwwxxxx.com/') ...
scrapy利用selenium爬取豆瓣阅读的全步骤
12-16
首先创建scrapy项目 命令：scrapy startproject douban_read 创建spider 命令：scrapy genspider ...import scrapy import re, json from ..items import DoubanReadItem class DoubanSpiderSpider(scrapy.Spider): n
Selenium 爬虫笔记
11-06
结合其他工具如Scrapy-Splash，Selenium 可以实现分布式爬虫，将任务分配到多台机器上，提高爬取速度和效率。 ### 9. 示例代码 以下是一个简单的Python示例，展示如何使用Selenium打开网页并查找元素： ```python...
scrapy爬虫始终定位不到元素
12-21
以下是一段结合 Selenium 和 Scrapy 的示例代码，用于解决动态加载元素的定位问题： ```python from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities ...
(20200306已解决)ModuleNotFoundError: No module named ‘selenium’
01-20
问题描述 如题所述，缺少selenium模块。 直接pip install selenium可能出错，如果无法安装采用下述手动安装方式。 解决方案 通过官网下载selenium 地址 https://pypi.org/project/selenium/ 将文件放到指定目录 D:\Program Files\Anaconda3\Lib\site-packages目录下新建selenium文件夹，将文件复制到此文件夹 cmd安装 通过cmd，进入到上述目录python setup.py install安装 作者：Quant_Learner
selenium爬虫技术
02-14
在我们的祖国——这个充满活力和创新的互联网环境中，Selenium爬虫技术犹如花园中的花朵，绽放出独特的光彩。 Selenium的核心组件包括WebDriver和Selenium IDE。WebDriver是一个开放源代码的API，支持多种浏览器如...
python使用scrapy爬虫总是提示ModuleNotFoundError: No module named ‘‘
lumyzml的博客
11-04 7061
使用scrapy创建爬虫工程后，编译代码都是正常的，目录结构如下： 但用命令行执行的时候总是提示错误 参考论坛上的多种方法修改目录名，项目名，增加item的path路径均无效，最后无意发现在item前面加'..'成功解决！ 但这样直接编译会报错，通过命令行执行才能成功。 推断：被调用的py文件在上一级目录，需要在对象名称前加“..”。 参考文章： 文章一： 使用scrapy做爬虫遇到的一些坑：No module named items以及一些解决方案 https://blo..
Selenium with Python: Unresolved Import Issues
XiaoAiWhc的专栏
02-26 1743
用Selenium+Python27+Eclipse(Juno)+PyDev搭建的环境，在使用以下语句时提示错误： from selenium import webdriver Eclipse提示"Unresolved import issues"，虽然对于脚本运行没有任何影响(说明Interpreter是识别的)，但在Eclipse里不能智能列出成员了，影响效率。 Google了许
使用scrapy做爬虫遇到的一些坑：导入Module的时候总显示no module named ×××.items？
热门推荐
weixin_41931602的博客
05-03 1万+
估计很多人和我遇到过这样的坑，就是scrapy做爬虫时，导入Module的时候总显示no module named ×××.items？可是检查很多遍都没发现什么大问题啊？我明明是按照教程来打的案例！！！原来这是因为编译器的问题，pycharm不会将当前文件目录自动加入自己的sourse_path。那么具体的解决方法如下：1,找到你的scrapy项目上右键2.然后点击make_directory ...
“from selenium import webdriver“报错
qq_44871721的博客
01-16 1894
from selenium import webdriver报错，但是电脑上明明安装好了selenium库 查看错误解释：Cannot find reference ‘webdriver’ in ‘selenium.py’ 查了很多方法，最后发现时因为自己这个项目文件名直接命名成了selenium，编辑器在我的文件下自然是找不到webdriver的 解决办法：重新给文件命个名即可 这是python编程中很容易遇到的错误，之前也在这个方面被弄坑过，这次又遇到了，还是没长记性，浪费很多时间找解决办法，于是记录
Scrapy中使用Selenium
小墨蛇的博客
05-20 936
3. 在Scrapy的Spider中使用Selenium：在Spider中使用Selenium可以通过在Spider中重写start_requests方法，在该方法中使用Selenium来请求网页并解析网页内容。2. 下载浏览器驱动：Selenium需要浏览器驱动来控制浏览器，可以下载对应浏览器的驱动，比如Chrome浏览器的驱动可以在这里下载：http://chromedriver.chromium.org/downloads。1. 安装Selenium库：可以通过pip安装selenium库。
selenium常用语句
weixin_42642483的博客
10-18 549
# 常用包 from selenium.webdriver import ActionChains from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_con...
scrapy结合selenium怎么使用selenium的定位方法
04-25
对于使用Scrapy结合Selenium进行网页爬取的情况，可以使用Selenium的定位方法来定位需要爬取的元素。在Scrapy中可使用Selenium的WebDriver来控制浏览器进行网页爬取，然后通过定位器来定位需要爬取的元素。比如，可以使用以下方式来使用Selenium的定位方法： 首先，导入Selenium的webdriver库： ``` from selenium import webdriver ``` 然后，创建一个webdriver对象，使用get方法打开需要爬取的网页： ``` driver = webdriver.Chrome() driver.get(url) ``` 接下来，使用Selenium的定位方法来定位需要爬取的元素，例如，可以使用find_element_by_xpath方法来定位： ``` element = driver.find_element_by_xpath(xpath) ``` 最后，利用Scrapy的Selector来定位元素的内容并进行处理： ``` sel = Selector(text=element.get_attribute('innerHTML')) ``` 需要注意的是，Selenium会打开浏览器进行爬取，因此对于大规模爬取而言性能可能会有一定影响，另外还需要注意网站是否反爬取，以及是否需要设置一定的爬取间隔来避免被封禁。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值