爬取实习僧工作岗位信息

一，大致流程

首先，利用requests的包对我们要爬取的网站进行get请求
其次，本文是利用xpath进行的爬取，所以需要导入lxml包
最后，我们要将数据存储在excel中，所以也要加载openpyxl包

二，具体操作

封装三个函数
1，send_requests()函数用于发送请求
2，parse_html（data）函数用于解析数据，传入的data参数就是send_requests()函数中return的返回值
3，save(lst)对数据进行存储

# 加载爬虫所需要的包
import requests
from lxml import etree
import openpyxl

headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36'}

#定义网址请求函数
def send_requests():
    url = 'https://www.shixiseng.com/interns?keyword=%E5%88%86%E6%9E%90' #寻找分析实习职位的url
    resp=requests.get(url=url,headers=headers)
    return resp.text

#定义解析数据函数
def parse_html(data):
    tree = etree.HTML(data)
    div_list=tree.xpath('//div[@class="result-list clearfix"]//div[@class="f-l intern-detail__job"]')
    url_lst = []
    for di in div_list:
        new_url = di.xpath('.//a/@href')#得到了每一个实习页面的url
        new_url = ''.join(new_url)#进行格式的转换，将列表转换为字符串格式
        url_lst.append(new_url)
    # print(url_lst)
    lst = []
    for i in range(len(url_lst)):#对新的url进行解析,爬取我们需要的薪水，公司的信息
        resp = requests.get(url=url_lst[i], headers=headers)
        tree = etree.HTML(resp.text)
        job_name = tree.xpath('//div[@class="new_job_name"]/span/text()')
        job_name = ''.join(job_name)
        job_address = tree.xpath('//div[@class="job_msg"]/span[@class="job_position"]/text()')
        job_address = ''.join(job_address)
        job_money = tree.xpath('//div[@class="job_msg"]/span[@class="job_money cutom_font"]/text()')
        job_money = ''.join(job_money)
        lst.append([job_name, job_address, job_money])
    save(lst)

def save(lst):#用于数据的存储
    wb = openpyxl.Workbook()
    ws = wb.active
    for row in lst:
        ws.append(row)
    wb.save('./实习工作职位表.xlsx')


if __name__ == '__main__':
    data = send_requests()
    parse_html(data)

三，结果展示

将数据存储成功后，会显示一个.xlsx文件

打开excel就能看到我们爬取的数据信息