selenium职来职往2

import csv
import time

from selenium import webdriver
from bs4 import BeautifulSoup as bs
def writeCSV(data):
    if data:
        with open(r'job.csv',"a",encoding='utf-8',newline='')as fp:
            writer=csv.writer(fp)
            writer=writer.writerows(data)
def get_content(urls):
    browser=webdriver.Chrome(r'D:\chromedriver')
    browser.get(urls)
    browser.maximize_window()
    time.sleep(2)
    data=browser.page_source
    soup = bs(data, 'lxml')
    soup = soup.find_all('div', class_="job-list")
    soup = soup[0].find_all('ul')
    soup = soup[0].find_all('li')
    data = []
    for item in soup:
        workname = item.find_all('span', class_="job-name")
        workaddress = item.find_all('span', class_="job-area")
        worksalary = item.find_all('span', class_="red")
        data.append([workname[0].text, workaddress[0].text, worksalary[0].text])
    writeCSV(data)
def deeprequest():
    keyword = input('请输入您要查询的职位名称\n')
    for item in range(1,3):
        urls='https://www.zhipin.com/c100010000/?query={}&page={}'.format(keyword,item)
        # print(item)
        get_content(urls)
deeprequest()

 `import csv`: 导入csv模块，用于读写CSV文件。

- `import time`: 导入time模块，用于添加延时等待。

- `from selenium import webdriver`: 从selenium库导入webdriver模块，用于实现自动化浏览器操作。

- `from bs4 import BeautifulSoup as bs`: 从BeautifulSoup库导入BeautifulSoup模块，用于解析HTML页面。

`writeCSV(data)`: 定义一个函数`writeCSV`，用于将数据写入CSV文件。接受一个参数`data`，如果`data`不为空，则将`data`写入名为"job.csv"的CSV文件中。

`get_content(urls)`: 定义一个函数`get_content`，用于获取指定URL的职位信息并调用`writeCSV`将数据写入CSV文件。接受一个参数`urls`，表示要获取信息的URL。

1. 创建一个Chrome浏览器实例，并设置浏览器窗口最大化。

2. 通过`browser.get(urls)`打开指定的URL。

3. 等待2秒，确保页面完全加载。

4. 获取页面源代码，并使用BeautifulSoup解析。

5. 在解析后的HTML中找到class为"job-list"的div标签，并将其保存在`soup`变量中。

6. 在`soup`中找到所有的ul标签，并将结果保存在`soup`变量中。

7. 在`soup`中找到所有的li标签，并将结果保存在`soup`变量中。

8. 创建一个空列表`data`，用于存储职位信息。

9. 遍历每个li标签，在每个li标签中找到class为"job-name"的span标签，将其文本内容作为职位名称。

10. 在每个li标签中找到class为"job-area"的span标签，将其文本内容作为工作地点。

11. 在每个li标签中找到class为"red"的span标签，将其文本内容作为工资。

12. 将职位名称、工作地点和工资组成一个列表，并添加到`data`列表中。

13. 调用`writeCSV(data)`将`data`写入CSV文件中。

`deeprequest()`: 定义一个函数`deeprequest`，用于进行深度请求。首先通过用户输入获取要查询的职位关键字，然后循环遍历1到2之间的数字，生成对应页面的URL，并调用`get_content(urls)`获取职位信息并写入CSV文件。

最后，调用`deeprequest()`函数开始执行爬取任务。