Python 爬虫开发
疯魔coding君
不会敲代码的程序员不是好农民,主攻 Python 领域
展开
-
pip install scrapy 安装无法成功
在 Windows 上使用命令:pip install scrapy 安装 scrapy 框架的时候,总是报错,无法成功安装,后面发现是使用了国内 pip 源的缘故。开始使用的是豆瓣源总是报错,后面换到清华源后就一下安装成功了。Windows 更改 pip 源见如下文章:Windows 系统怎么更改 pip 源...原创 2021-05-24 20:08:34 · 252 阅读 · 0 评论 -
ImportError: DLL load failed while importing etree: 找不到指定的模块。
在安装 Python 爬虫框架 Scrapy 的时候,输入命令:scrapy 检查 Scrapy 是否安装成功的时候抛出了以下异常:ImportError: DLL load failed while importing etree: 找不到指定的模块。出现该问题的原因是 lxml 版本与 Scrapy 版本不匹配,解决方式如下:1.卸载 lxmlpip uninstall lxml2.重新安装 lxmlpip install lxml这里会安装 lxml 的最新版本,安装成功后,再次执原创 2021-04-13 18:54:11 · 9866 阅读 · 14 评论 -
Python 爬虫:http.client.RemoteDisconnected: Remote end closed connection without response 问题解决
在使用 Python 爬虫库中的 urllib 或者 requests 库获取数据时,大多数网站都会对用户请求中的 User-Agent 进行检测,如果没有在请求头中设置 User-Agent,那么就会抛出如下异常:http.client.RemoteDisconnected: Remote end closed connection without responseurllib 设置 User-Agent 示例如下:from urllib.request import urlopen, Req原创 2021-04-11 14:47:36 · 12413 阅读 · 0 评论 -
Python 使用第三方包 requests 出现异常:requests.exceptions.ProxyError
在 Python 中使用 requests 获取网页时,出现错误:requests.exceptions.ProxyError细察原因,发现这是个代理异常,仔细想想才发现自己使用了一个插件用来管理 Chrome 的代理设置:没成想这个插件把 PC 本地的代理设置也修改了难怪最近有些应用网页都打不开了,将使用代理服务器关闭之后,一切终于又恢复了正常~...原创 2021-02-17 14:23:22 · 1172 阅读 · 1 评论 -
Jupyter Notebook 常用快捷键
Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算:开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍Jupyter Notebook 使用的是 IPython 解释器,文档保存为后缀名为 .ipynb 的 JSON 格式文件,不仅便于版本控制,也方便与他人共享。IPython 是基于 CPython 之上的一个交互式解释器,也就是说,IPython 只是在交互方式上有所增强,但是执行 Python 代码的功能和 CPython .原创 2020-10-28 00:10:18 · 230 阅读 · 0 评论