一、基本思路
目标url:https://www.lagou.com/
用selenium爬虫实现,输入任意关键字,比如 python 数据分析 ,点击搜索,得到的有关岗位信息,爬取下来保存到Excel。
![](https://i-blog.csdnimg.cn/blog_migrate/69f514a0223197b1e13403b68ce94921.png)
![](https://i-blog.csdnimg.cn/blog_migrate/f618a0c2c6b21e41ce0bb7b5605646a0.png)
有30页,每个页面有15条招聘信息。
二、selenium爬虫 from selenium import webdriverimport timeimport loggingimport randomimport openpyxlwb = openpyxl.Workbook()sheet = wb.activesheet.append(['job_name', 'company_name', 'city','industry', 'salary', 'experience_edu','welfare','job_label'])logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')def search_product(key_word): browser.find_element_by_id('cboxClose').click() # 关闭让你选城市的窗口 time.sleep(2) brows