selenium 分分获取职位招聘详细信息，十万数据不是梦

大数据的时代，数据成为最重要的基础，不管是数据挖掘、数据分析、还是人工智能里的机器学习还是深度学习，数据就是基础，没有数据就没有后期的发展。

下面是为做数据分析来爬取的51job网的职位数据。
环境：

• python3.7.3
• windows10
• Google
• Google驱动
• selenium
• csv

1 模拟登录

第一步我们先配置谷歌，谷歌驱动，在这里我们需要加载 图片，因为在登录验证的时候我们需要手动去勾选同意条款

def main():
    option = webdriver.ChromeOptions()
    option.add_experimental_option('excludeSwitches', ['enable-automation'])  
    driver = webdriver.Chrome(executable_path=r'D:\chromedriver.exe',options=option)
    driver.set_page_load_timeout(15)
    login(driver)

在这里就是在驱动打开后，我们去定位密码登录、账号输入框、密码输入框、登录框

在他自动填写密码完成后，我们需要手动勾选我同意条款合约,然后就需要等待他自己自动点击登录，在这里如果出现了滑动验证，也是一样，需要自己手动去拖动，在这里也不好去写滑动块的拉动，因为它在有的时候没有验证的那一步~~~~

driver.delete_all_cookies()
url = "https://login.51job.com/login.php?lang=c"
driver.get(url)
time.sleep(5)
driver.find_element_by_xpath('/html/body/div[3]/div[1]/div[2]/div[1]/span[3]/a').click()
time.sleep(1)
driver.find_element_by_xpath('/html/body/div[3]/div[1]/div[2]/form/div[1]/div/input[1]').send_keys('51job账号')
driver.find_element_by_xpath('/html/body/div[3]/div[1]/div[2]/form/div[2]/div/input[1]').send_keys('51job密码')
time.sleep(10)
driver.find_element_by_xpath('/html/body/div[3]/div[1]/div[2]/form/div[4]/button').click()  # 点击登录

2 获取URL

在登陆成功后就分为两步

（1）获取具体公司的URL

在这里需要提前提供好你要爬取的关键字的职位的url，在改变里面的换页编号，
将第一页获取的URL保存，供后期的详细信息爬取。

url = ["https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,{0}.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=".format(i) for i in range(1, 822)]
for k in url:
    driver.get(k)
    time.sleep(10)
    url_3 = []
    for id in ra