Python爬取BOSS直聘商业分析岗职位描述信息

1 爬虫工具及思路

1.工具包： selenium-webdriver 模拟浏览器（因为网页是动态加载的，而且我比较难以找到json包）
2.思路： 首先获取每个岗位的id，然后根据id构造岗位url，最后逐一访问网址并抓取所需信息。

2 准备工作

1. python中下载selenium包，pip install selenium
2. webdriver 官网下载对应浏览器的webdriver驱动，一定要和原文件在同一个目录下，附上谷歌官网网址：谷歌浏览器webdriver下载地址
3. selenium模拟浏览器的相关操作可以参考这篇文章：python selenium库的使用
4. 正则表达式相关操作参照下面这篇博客python正则表达式的应用

3 代码

from selenium import webdriver
import re
import xlwt
import time
# define method that will create a browser, suitable to your operating system
import sys
def get_a_browser():
    if sys.platform.startswith('win32') or sys.platform.startswith('cygwin'):
        return webdriver.Chrome() # windows
    else:
        return webdriver.Chrome('./chromedriver') # mac
#get job id
job_id = []
part = 'data-jid="(.*?)"'
url = u'https://www.zhipin.com/c100010000/?query=%E5%95%86%E4%B8%9A%E5%88%86%E6%9E%90%E5%B8%88&page=9&ka=page-next'
browser = get_a_browser()
browser.get(