scrapy
正在努力学习的zz
这个作者很懒,什么都没留下…
展开
-
Forbidden by robots.txt错误
运行scrapy spider时,出现Forbidden by robots.txt错误 原因:在settings.py文件里有个ROBOTSTXT_OBEY参数,默认为True。False为拒绝遵守robot协议,True为遵守robot协议 解决:将settings.py文件里的ROBOTSTXT_OBEY参数,设为False.。即ROBOTSTXT_OBEY = False...原创 2018-12-19 18:47:47 · 893 阅读 · 0 评论 -
ubuntu安装scrapy报错
pip install scrapy时报错:Could not find a version that satisfies the requirement Twisted>=13.1.0 (from Scrapy) (from versions: ) No matching distribution found for Twisted>=13.1.0 (from Scrapy) ...原创 2018-12-29 17:58:05 · 343 阅读 · 0 评论 -
pip install scrapy时报错:Could not find a version that satisfies the requirement Twisted>=13.1.0
pip install scrapy时报错:Could not find a version that satisfies the requirement Twisted>=13.1.0 (from Scrapy) (from versions: ) No matching distribution found for Twisted>=13.1.0 (from Scrapy) ...原创 2018-12-29 18:00:35 · 925 阅读 · 0 评论 -
ubuntu安装完twisted之后,安装scrapy仍然报错:ModuleNotFoundError: No module named 'twisted.persisted'
报错如图: 原因:twisted版本比较低,而python的版本比较高 1.查看pip版本 2.查看twisted版本 python import twisted twisted.version 因此更新twisted版本 wget https://pypi.python.org/packages/source/T/Twisted/Twisted-17.1.0....原创 2018-12-29 18:50:00 · 1162 阅读 · 0 评论 -
unbuntu pkg_resources.DistributionNotFound: The 'pip==1.5.4' ,排查发现pip不在环境变量中
最开始遇到的问题是: 使用pip安装scrapy报错: unbuntu pkg_resources.DistributionNotFound: The 'pip==1.5.4' distribution was not found and is required by the application 因此参考博客https://blog.csdn.net/allyli0022/article...原创 2018-12-29 18:53:58 · 2442 阅读 · 0 评论 -
部署scrapy项目到腾讯云服务器,并操作爬虫
第一步: 在腾讯云购买服务器 第二步: 在本机下载scrapyd-client: 对于windows系统,建议不要用pip install scrapyd-client去安装scrapyd-client,会出现,scrapyd-deploy不是内部或外部命令,因为scrapyd-deploy不能被windows执行。应当直接去github上下载并解压安装包后,进入解压后的目录下,执行py...原创 2019-01-29 11:49:16 · 1190 阅读 · 0 评论 -
服务器端安装mongodb数据库,本地远程连接服务器端mongodb,系统为centos
第一部分:服务器端安装mongodb 参考:参考文章 下载安装包 wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.2.9.tgz 解压 tar -zxvf mongodb-linux-x86_64-3.2.9.tgz 解压后文件夹重命名 mv mongodb-linux-x86_64-3.2.9 mong...原创 2019-01-28 21:42:33 · 2368 阅读 · 0 评论