又到了一年一度的招聘热季节,大量的工作机会在想我们招手,为了了解一下热门岗位的薪资情况,这里爬取拉钩网的Java招聘岗位,,这里使用Scrapy来完成。并保存为xlsx文件。这里不做条件筛选,只对关键词进行筛选。这节作为准备,只讲拉钩的爬取规则,以及如何反爬。
工具:浏览器,Postman,IDE,Python环境,Win10。
Python:Scrapy,Openpyxl,Json
首先访问一下拉钩搜索“java”关键字:
拿到url后,复制粘贴到Postman中访问一遍:
又到了一年一度的招聘热季节,大量的工作机会在想我们招手,为了了解一下热门岗位的薪资情况,这里爬取拉钩网的Java招聘岗位,,这里使用Scrapy来完成。并保存为xlsx文件。这里不做条件筛选,只对关键词进行筛选。这节作为准备,只讲拉钩的爬取规则,以及如何反爬。
工具:浏览器,Postman,IDE,Python环境,Win10。
Python:Scrapy,Openpyxl,Json
首先访问一下拉钩搜索“java”关键字:
拿到url后,复制粘贴到Postman中访问一遍: