初次使用scrapy来写爬虫,发现网上好多教程都是直接在命令行中执行,一般执行类似于下面的命令
1. scrapy crawl Crawler
通过google发现scrapy命令可以从pycharm内部执行,我们执行scrapy命令其实相当于如下命令
1. from scrapy.cmdline import execute
2. execute()
也就是说上面的命令
1. scrapy crawl Crawler
等价于
1. python ../site-packages/scrapy/cmdline.py crawl Crawler
那么我们就可以在pycharm中通过Edit Configurations进行如下设置
Script:选中安装scrapy下的cmdline.py文件。
Script parameters:填scrapy命令的参数,即可使用pycharm进行scrapy项目的执行。
设置好之后可能会出现以下问题:
1.ImportError: No module named 'http.client'
解决方法:在Edit Configurations中勾中Show command line afterwards
2. Unknown command: crawl
解决方法:在Edit Configurations将Working direction设置为scrapy项目根目录