Scrapy安装及项目启动血泪辛酸史

最新推荐文章于 2024-10-29 15:52:40 发布

我的小英短

最新推荐文章于 2024-10-29 15:52:40 发布

阅读量1.8k

点赞数

分类专栏： python scrapy 文章标签： python scrapy 爬虫踩坑

本文链接：https://blog.csdn.net/WU5229485/article/details/86493504

版权

本文作者作为一名Scrapy初学者，分享了在安装和启动Scrapy项目时遇到的困难，包括依赖报错、启动项目时的错误以及在PyCharm中导入项目的挑战。通过使用Anaconda、解决Twisted报错和查找解决方案，作者最终克服了这些问题，并鼓励其他新手不要轻易放弃。

摘要由CSDN通过智能技术生成

导读

作为python新手，更是一名scrapy的菜鸟。在这里简单的吐槽Scrapy官方文档两句，对于官方文档的指南更多的需要是参考而不是照搬，如果你放弃了前者选择了后者，就会像我一样，在前期阶段超级想放弃Scrapy的学习，还真是没入门就想放弃，特别的尴尬。

简单叙述下压垮你信心的几个大坑

使用pip安装scrapy
依赖报错信息百度铁定搜不到，CSDN、segmentfalt搜了同样的报错问题没人回答
安装好scrapy后，启动项目报错
报错后不知道是代码的问题，配置的问题，还是安装过程中出现问题
报错信息收到了github的issue倒是有人问，就是没人回答
环境配置的路途中，还真是路漫漫，其修远兮。有人带真的很重要

一、安装启动

windows下强烈建议使用 Anaconda 这个第三方软件安装
Anaconda和文档下载地址：http://www.scrapyd.cn/doc/124.html
注：如果你不小心已经使用 pip install scrapy 但是报错了,那么骚年别慌！还有补救的方法：
（1）《pip安装scrapy所需要的所有依赖》
（2）《pip install twisted 报错看这个》
linux下载安装就会简单很多，至少不会有一些很奇怪的错误，试着使用pip install scrapy就可以了，如果遇到问题上面的几个方法就可以解决
启动项目：scrapy crawl spider_name报错如下：

D:\me\python\scrapy\douban\douban\spiders>scrapy crawl douban_spider
2019-01-15 14:34:28 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: douban)
2019-01-15 14:34:28 [scrapy.utils.log] INFO: Versions: lxml 4.3.0.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.1, w3lib 1.20.0, Twisted 18.9.0, Python 3.6.5rc1 (v3.6.5rc1:f03c5148cf, Mar 14 2018, 03:12:11) [MSC v.1913 64 bit (AMD64)], pyOpenSSL 18.0.