scrapy的使用

1.如何创建工程:

在"C:\Windows\System32\cmd.exe"     黑窗口的指定文件目录下,输入命令:

                                     scrapy startproject 项目名

2.项目创建成功后,在pycharm中进入项目,认识目录结构:

例如:

firstbloodpro            工程目录
            firstbloodpro        工程核心目录
                __pycache__      缓存文件
                spiders          爬虫部分
                    __pycache__  缓存文件
                    __init__.py  包的标记
                    lala.py      爬虫文件（*）
                __init__.py      包的标记
                items.py         定义数据结构的地方（*）
                middlewares.py   中间件（*）
                pipelines.py     管道（*）
                settings.py      爬虫配置文件（*）
            scrapy.cfg           工程的配置文件（一般不用）

3.生成爬虫文件:

 在黑窗口下   cd firstbloodpro           

然后输入命令:

            scrapy genspider 爬虫名字 网站域名

4.运行scrapy:

cd firstblood/firstblood/spiders
        scrapy crawl 爬虫名字