今天介绍借助selenium+chromdriver工具进行爬取招聘信息,并保持到csv文件中,以招聘python岗位为关键字。
爬取思路可分为以下几个步骤:
- 爬取第一页页面中所有职位的链接:每个职位有个id。
- 然后根据获取的每个职位的链接,获取该职位的详细信息。
- 右键——检查,根据html,选取元素。见代码。
- 第一页职位信息爬取完成后,让浏览器跳转到第二页,继续爬取每一个职位的详细信息,以此类推,直到最后一页。
- 爬取结果如下:
- 完整代码如下:
# project: seleniumChromedriver # author: liulei # time