PyCharm创建Scrapy项目

Scrapy安装好之后我们便可以创建自己的第一个爬虫项目了。Scrapy安装可参考我的另一篇文章:https://mp.csdn.net/editor/html/115741881

一、首先用 win+r组合键打开命令窗口，进入要创建项目的目录。windows是用盘符加冒号即可进入对应的盘符。

scrapy startproject 项目名(创建scrapy项目)；命令执行完后便在你指定的目录下有对应的项目目录了。顺便我们介绍下常用的scrapy命令：

bench:性能测试

fetch:读取源代码

genspider:生成爬虫文件

runspider:运行爬虫文件

settings:爬虫相关设置

shell:终端操作

startproject:创建项目

version:查看scrapy版本

check:检查代码是否出错

crawl:运行一个爬虫

edit:编辑爬虫

list:列出有效的爬虫

二、用pycharm打开刚才新建的项目

File->open->新建项目目录

items.py:定义爬虫程序的数据模型

middlewares.py:定义数据模型中的中间件

pipelines.py:管道文件，负责对爬虫返回数据的处理

settings.py:爬虫程序设置，主要是一些优先级设置(将ROBOTSTXT_OBEY=True  改为  False,这行代码表示是否遵循爬虫协议,如果是Ture的可能有些内容无法爬取)

scrapy.cfg:内容为scrapy的基础配置

spiders目录:放置spider代码的目录

三、新建自己的爬虫代码：

在终端中输入:scrapy genspider baidu_spider baidu.com      其中:baidu_spider 是文件名,可以自定义,但是不能与项目名一样

回车后会在spiders文件夹下创建一个baidu_spider.py文件,之后所有的操作都会在这个文件中的def parse中执行

四、运行爬虫代码：

在终端中输入:scrapy crawl baidu_spider