Python爬虫 senlenium爬取拉勾网招聘数据，你学会了吗

一、基本思路

目标url：https://www.lagou.com/

用selenium爬虫实现，输入任意关键字，比如 python 数据分析 ，点击搜索，得到的有关岗位信息，爬取下来保存到Excel。

 

 

有30页，每个页面有15条招聘信息。

二、selenium爬虫 from selenium import webdriverimport timeimport loggingimport randomimport openpyxlwb = openpyxl.Workbook()sheet = wb.activesheet.append(['job_name', 'company_name', 'city','industry', 'salary', 'experience_edu','welfare','job_label'])logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')def search_product(key_word): browser.find_element_by_id('cboxClose').click() # 关闭让你选城市的窗口 time.sleep(2) brows