对于python爬虫踩过的坑

最新推荐文章于 2023-07-20 21:55:14 发布
最新推荐文章于 2023-07-20 21:55:14 发布
阅读量2.4k 收藏
点赞数
分类专栏： python 爬虫 文章标签： python selenium webserver PhantomJS 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35131683/article/details/81304038
版权
本文记录了一位Python爬虫新手在使用selenium+webserver过程中遇到的问题，包括PhantomJS在Python3.5中的不兼容，Chrome版本与chromedriver匹配的重要性，cssselect的安装细节，以及环境变量设置和文件路径的困扰。通过一周的学习和尝试，最终成功运行爬虫。
摘要由CSDN通过智能技术生成

    最近由于工作原因，开始进行一些爬虫的学习。记录一下我第一个爬虫踩过的坑！

    首先感谢github给了我学习下去的动力。我使用的是python3.5，在window10下运行。爬虫用的是selenium+webserver的组合。

    问题记录：

1、开始的化想使用webdriver.PhantomJS，但是报错

所以 PhantomJS是不能刚在3.5使用的，要使用headless

 本人由于个人喜好问题，最后选用了chrome

2、在使用安装headless的时候一定要选择版本匹配。在chrome地址栏里面输入chrome://version/

这个 chrome的版本号一定要匹配chromedriver的版本。

<

最低0.47元/天 解锁文章
宇落流殇
关注
专栏目录
Python Scrapy 爬虫踩过的坑（一）
baidu_41687897的博客
03-30 9088
一、DEBUG Crawled 200 ，具体报错信息如下图所示： 爬虫初学者，记录自己曾爬过的坑。 1. 200为HTTP 状态码，代表访问OK。 2. 但是设置的正则的返回的爬取信息为[] 3. 主要出错原因，爬取的为分类下的数据信息，start_urls = [ ] 为设置爬虫文件时 域名所对应的网址。需要修改为分类下的网站。才能爬取数据成功。 https://stac...
创建scrapy项目终端输入scrapy startproject 项目名时报错的一种：cannot import name ‘PseudoElement‘ from ‘cssselect.parse
weixin_53847230的博客
05-31 1181
搜了很多网上的解决方法都没用，最后小bing帮忙解决了，来谢谢小bing报错如下：解决方法： 终端中分别查看版本： 然后后面我输入scrapy startproject 项目名 又遇到一个问题：报错：ImportError: cannot import name 'ParamSpec' from 'typing_extensions' (e:\anaconda3\lib\site-packages\typing_extensions.py)解决方法：终端输入： 再次输入 命令问题解决
cannot import name ‘PseudoElement‘ from ‘cssselect.parser‘
zlwyp的博客
07-20 755
cannot import name 'PseudoElement' from 'cssselect.parser'
Python报错：ImportError: cannot import name ‘xxx‘ from ‘xxx‘
weixin_61908666的博客
10-21 4万+
Python报错：ImportError: cannot import name ‘xxx‘ from ‘xxx‘
ImportError: cannot import name Pseudo
looseScript
03-31 3544
在scrapy中使用PyQuery出现如下错误： from lxml.cssselect import Pseudo, XPathExpr, XPathExprOr, FunImport Error: cannot import name Pseudo 百度了一堆没有任何提示，无奈google上不去，一直没法解决。本以为是lxml没有安装成功，重新装了一次后还是不行。最后用www.g
ImportError: cannot import name _elementpath 终极解决办法
henanlion的博客
02-11 1781
在使用pyinstaller打包含有python-docx包的软件时出现以下错误：Failled to execute script XXX due to unhandled exception: cannot import name _elementpath 经过查询资料后发现原来是lxml这个文件没有打包进文件，所以在使用pyinstaller时增加以下内容： pyinstaller -F -w XXX.py --hidden-import lxml._elementpath 这样再次打包时
爬虫案例 及 踩过的坑.zip
最新发布
01-19
遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施...
Python爬虫：Python+WebSocket获取体育实时赛事数据
爬虫学习
10-30 2691
Python爬虫：Python+WebSocket获取体育实时赛事数据
python爬虫遇到的坑3——关于scrapy中的URL
qq_43654105的博客
02-27 843
第一个坑       我们在使用scrapy的时候都要先创建项目是吧这个就不多说的。       基本的目录结构就是这样，懂的都懂，也不多做解释了：       我就是在这里遇到的坑。       这里面有个pipelines的py文件：   
css-selector-parser:只是一个 CSS 选择器解析器
05-29
节点 CSS 选择器解析器 快速且低内存的 CSS 选择器解析器。 将 CSS 选择器解析为对象模型。 安装 npm install css-selector-parser 用法 var CssSelectorParser = require ( 'css-selector-parser' ) . CssSelectorParser , parser = new CssSelectorParser ( ) ; parser . registerSelectorPseudos ( 'has' ) ; parser . registerNestingOperators ( '>' , '+' , '~' ) ; parser . registerAttrEqualityMods ( '^' , '$' , '*' , '~' ) ; parser . enableSubstit
解决：cannot import name ‘xxx‘ from ‘xxx‘
Netceor的博客
07-06 2万+
官网地址：https://www.catalyzex.com/这里我选择作为Chrome插件进入 Google、ArXiv、Twitter、Github等等页面检索，如果存在匹配的代码，就会自动显示例如进入ArXiv：https://arxiv.org/任意检索内容，发现如果存在代码，将会有相关显示...
ImportError: cannot import name ‘XXXXX‘ from ‘XX‘解决方案
热门推荐
qq_49641239的博客
11-02 5万+
一、报错： File "./xxx/demo/demo.py", line 23, in <module> from predictor import FeatureExtractionDemo ImportError: cannot import name 'FeatureExtractionDemo' from 'predictor' 二、原因分析： 1、自己的python文件与导入的包重名了，导致引入路径错乱。【主要是 .py 文件路径的问题，当在同一文件下，存在子文件内有同样
Syntax Error SassError expected selector报错的解决方案
m0_67391677的博客
03-08 1万+
Syntax Error: SassError: expected selector报错的解决方案 今天在写Vue项目的时候，在写样式的时候突然遇到了这么一个报错： 因为写样式的时候，我在 < style > 标签中写了scoped 属性，这样导致我写的样式不能够传递给子组件，所以我写了一个 /deep/ 想要使用样式穿透，让子组件匹配上这个样式，但是不行，报了图片中的这个错误； 后来通过查资料发现，原来是我写的 /deep/ 出了问题； 如果使用 less 对 css 做出预处理的话，使用
解决python导包报错ImportError: cannot import name ‘xxx‘ from
空山新雨后，天气晚来秋
02-18 5万+
花了较长时间，最后发现循环引用导致。既然循环引用了，只要让让它们别循环引用就行。 那么解决掉循环引用的部分即可正常！ 解决办法：1，拆解成多个文件，将要互相引用的分开 2，缩小导入的范围，如一般情况下import在文件顶部，这时候可以将import移动到紧挨需要导入的代码上方即可； ...
python报错：ImportError: cannot import name ‘XX‘ from......
WILDCHAP_的博客
01-06 9628
今天在写python程序的时候报了这个错。一般出现这个错误，不是命名出了问题，就是路径出了问题，由于我的文件中存在多层引用，造成了这个问题。 问题原因： 我在【A】文件下from B import bb，也就是引入B文件下的bb方法 然后【B】文件的bb方法里又调用了【C】文件的cc方法 而【C】文件里又import了B文件的bb2方法 问题解释： 来看如下例子： ./test |--main.py |--sub_a.py |--sub_b.py # main.py from sub_a impor
python ImportError: cannot import name ' ×××'解决方法
wentworthcjl的专栏
03-01 4万+
python 包 and 模块 常见错误原因 大致有两个方向，一个是路径问题，一个是命名问题 导入的包中是否有__init__.py。结果如下 导入的包中__init__.py 是否导入了 需要使用的函数，格式如：from xxx（你的包名） import XXX（你要导入的文件）。例如下图 可以看一下系统路径能不能找到，具体命令如 sys.path。路径中没有找到的话，可以通过sys.path...
Syntax Error: SassError: expected selector报错的解决方案
weixin_43852569的博客
08-26 8789
Syntax Error: SassError: expected selector报错的解决方案 今天在写Vue项目的时候，在写样式的时候突然遇到了这么一个报错： 因为写样式的时候，我在 < style > 标签中写了scoped 属性，这样导致我写的样式不能够传递给子组件，所以我写了一个 /deep/ 想要使用样式穿透，让子组件匹配上这个样式，但是不行，报了图片中的这个错误； 后来通过查资料发现，原来是我写的 /deep/ 出了问题； 如果使用 less 对 css 做出预处理的话，使用
解决安装python包时出现的“ImportError: cannot import name SourceDistribution“错误
lovewhoilove
07-30 2186
在进行一番搜索后，发现产生这个问题的原因竟然时pip 20.0版本的bug，噗????，具体参考的这篇文章：https://www.cnblogs.com/dhcn/p/12233120.html，解决办法就是手动升级pip，于是我便打开pip的官网：https://pypi.org/project/pip/，然后大致看了看说明，说是从21.0版本后就不再支持python2了，我用的时python2.7，那就只能下载21版本之前的最新版了。 点击窗口左侧的【Release history】选项即可，去找找
Python爬虫入门指南
"爬虫python入门" 爬虫Python入门是一个涉及多方面知识的领域，包括Python基础、网络原理、HTTP协议、HTML解析、第三方库的使用以及道德与法律法规。以下是对这些知识点的详细说明： 1. **Python基础知识**：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值