js 拉勾网效果_爬虫篇 | 高级爬虫(三)：使用Scrapy爬取拉勾网数据并写入数据库...

最近更新文章比较克制，因为做公众号有自己的价值观「每次更新尽量给读者提供价值而不是消费读者」公众号立足于原创，内容尽量做到系统化，结构化，立体化，旨在让读者能直接能过我的教程来循序渐进的去提升自己。

之前我们讲到了使用Scrapy，今天我们使用Scrapy来作一个项目实战。Scrapy详细教程可以看前面两篇：

爬虫篇 | 高级爬虫(一):Scrapy爬虫框架的安装
爬虫篇 | 高级爬虫( 二):Scrapy爬虫框架初探

今天我们是用Scrapy来爬取拉勾网的Python招聘信息。 这个项目刚刚在我的知识星球与球友们已经做过了！这里拿出来总结一下。

1.打开拉勾网，这里获取数据的方式有两种

• 方式一：在首页通过输入Python可以从搜索结果中得到Python招聘信息，然后可以查看到这种获取数据的方式是发起Post请求。

直接搜索Python职位：

https://www.lagou.com/jobs/list_Python?labelWords=&fromSearch=true&suginput=

爬取拉钩数据的办法有人使用了post发送数据请求，结果总是提示操作太频繁，我没有采用这种方式.

• 方式二：而我们直接在首页选择技术，找到Python模块，打开网页，我们可以看到发起的是Get请求，进一步我们可以发现这里是发我们发现这个数据与我们扫索到的Python得到的数据是一样的。

  

  

<