Pycharm中运行Scrapy爬虫程序
- 创建scrapy项目
scrapy startproject scrapyTest
-
创建爬虫文件
创建爬虫,编写代码,具体见:
https://blog.csdn.net/weixin_41104835/article/details/88352492
-
创建运行爬虫文件
注意目录所在的位置
from scrapy import cmdline
cmdline.execute("scrapy crawl itcast".split())
- 配置pycharm