weixin_62367563的博客

原创 爬取Boss直聘网站，获取岗位信息

注意：当短时间内爬取次数太多，会访问不了，这时需要更换Cookie， 你也可以使用time.sleep()来降低爬虫时间，来保证不会认为是爬重。其中只有encryptJobId、lid、securityId在变化，所以在此页面只需要获取到这几个值，就可以得到该页面的所以岗位的url。我们发现有很多的岗位，接下来分析网页，右击网页，点击检查或者按F12，选择network或者是网络，找到下图所示位置。我们需要的岗位名称、岗位薪资、岗位描述、以及岗位职责。这是Boss直聘网站的首页。