爬取招聘网站实训

#创建爬虫项目
##搭建爬虫框架
1安装爬虫框架 pip install scrapy -i
2创建scrapy文件夹 scrapy startproject 加自拟文件名
在对应文件夹下有如下目录
scrapy.cfg:项目的配置文件，一般不用设置。此文件所在目录为项目根目录
item.py:保存爬取到数据的容器，在此文件中定义要爬取什么数据
pipelines.py:处理已经爬取到的数据。如：对数据进行去重或者保存到数据库，就在这个文件中定义
middlewares.py:中间件文件，用来对所有发出的请求、收到的响应或spider做全局性的自定义设置
setting.py:Scrapy爬虫框架的设置文件
spider文件夹：存放爬虫代码，定义爬虫的主要逻辑，可以在这个文件夹定义多个爬虫

##编写需要爬取的字段