![](https://img-blog.csdnimg.cn/20191024094204714.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
python爬虫
。。。。。
Shaw_tingshu
再坚持一下下
展开
-
python Scrapy的安装
Scapy是python爬虫框架,适用于做大型的爬虫项目,在项目执行过程中可以不用过多关注细节(例如报错信息),只要任务集中在“爬取”。由于Scrapy框架涉及太多的依赖库,我们可以为特定爬虫项目创建虚拟环境以避免与之前系统以安装的包存在冲突,在进行pip安装。具体虚拟环境的创建可以参考官方手册:点击进入直接pip安装pip install scrapyps:尽可能开个VPN或者采用...原创 2019-10-15 10:33:09 · 180 阅读 · 0 评论 -
python爬虫 请求网站时报错:http.client.RemoteDisconnected
请求网站时报错:http.client.RemoteDisconnected: Remote end closed connection without response原因:服务器限制了部分User-Agent的访问解决方案: 添加User-Agent原代码:data = urllib.request.urlopen(url).read().decode("utf-8", "ignore...原创 2019-10-11 12:09:02 · 2711 阅读 · 1 评论