scrapy爬虫实践之抓取拉钩网招聘信息（1）

趁着学习计划空白的时间，我决定自己创建一个project练手爬虫，刚好可以实践之前学习过的scrapy

项目内容：
1.抓取拉钩网下，关键字为【数据分析】【上海】的所有招聘信息
2.将抓取的信息保存到本地数据库
3.对抓取到的信息进行数据清洗
4.对数据进行分析，包括筛选出符合需求的信息，并给出具体的可视化结果与分析结论

使用工具：仅限使用scrapy

项目拟定好后，首先进入My_Test工作目录，创建爬虫项目

scrapy startproject newlagou

然后进入建立好的项目目录中，建立自己的爬虫。新建的文件在spider目录下，实际上这个爬虫文件也可以手动建立

scrapy genpider zhaopingye lagou.com

随后，通过上网参考其他大神的代码，完善自己的爬虫项目。
首先，在items中创建自己想要爬取的数据内容，这个地方暂时只创建了一项，我想要获取搜索“商业数据分析”后弹出的清单中所有的超链接（为之后爬取每一个页面做铺垫）

class NewlagouItem(scrapy.Item):
    job_web = scrapy.Field()
    pass

pipelines暂时不设置。（事实上，在学习的过程中设置过了pipeline，这个文件可以帮助你更好的保存爬取出的数据）
settings的设置比较重要，这个地方要设置好防爬取的一些内容，包括headers和爬取速率、反重定向等。这个地方的坑比