使用爬虫框架scarpy报错AttributeError: module ‘scrapy’ has no attribute ‘spider’
我以为scarpy就是个简单的库,安装后直接import scrapy就行了,运行的时候报错…import scrapy…AttributeError: module ‘scrapy’ has no attribute ‘spider’,我还很奇怪为什么他不报错:No module named scrapy。网上说import scrapy,写法太旧,让换成from scrapy.spider import Spider
,还有说版本太老,更新scrapy等等,但好像我的并没有那样…折腾半天,原来是我的项目里我自己建了一个名称里有scarpy的这样一个文件,改名就行,顺便说一说怎么运行scarpy。
运行scarpy项目方法1
想要运行Scrapy有两种方法,一种是在本地电脑的终端跳转到scrapy项目的文件夹(跳转方法:cd+文件夹的路径名),然后输入命令行:scrapy crawl xxx
(xxx是你爬虫工程的名字)。
运行scarpy项目方法2
另一种运行方式需要你在最外层的大文件夹里新建一个main.py文件(与scrapy.cfg同级)。
里面写入
from scrapy import cmdline
#导入cmdline模块,可以实现控制终端命令行
cmdline.execute(['scrapy','crawl','xxx'])
#用execute()方法,输入运行scrapy的命令,(xxx是你爬虫工程的名字)
然后运行,xxx工程就运行了