1.如何创建工程:
在"C:\Windows\System32\cmd.exe" 黑窗口的指定文件目录下,输入命令:
scrapy startproject 项目名
2.项目创建成功后,在pycharm中进入项目,认识目录结构:
例如:
firstbloodpro 工程目录
firstbloodpro 工程核心目录
__pycache__ 缓存文件
spiders 爬虫部分
__pycache__ 缓存文件
__init__.py 包的标记
lala.py 爬虫文件(*)
__init__.py 包的标记
items.py 定义数据结构的地方(*)
middlewares.py 中间件(*)
pipelines.py 管道(*)
settings.py 爬虫配置文件(*)
scrapy.cfg 工程的配置文件(一般不用)
3.生成爬虫文件:
在黑窗口下 cd firstbloodpro
然后输入命令:
scrapy genspider 爬虫名字 网站域名
4.运行scrapy:
cd firstblood/firstblood/spiders
scrapy crawl 爬虫名字