爬虫练习：获取某招聘网站Python岗位信息

一、相关网站

二、相关代码

import requests
from lxml import etree
import csv
with open('拉钩Python岗位数据.csv', 'w', newline='', encoding='utf-8') as csvfile:
    fieldnames = ['公司', '规模','岗位','地区','薪资','经验要求']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writeheader()
    for page in range(1,31):
        # url = 'https://www.lagou.com/wn/zhaopin?fromSearch=true&kd=python&city=%E5%85%A8%E5%9B%BD'
        url = f'https://www.lagou.com/wn/zhaopin?fromSearch=true&kd=python&pn={page}'
        headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'

        }
        data = {
            'fromSearch':'true',
            'kd':'python',
            'city':'全国'
        }
        response = requests.post(url=url,data=data,headers=headers)
        # print(response.text)
        result = etree.HTML(response.text)
        company = result.xpath('//div[@class="company-name__2-SjF"]/a/text()')
        scale = result.xpath('//div[@class="industry__1HBkr"]/text()')
        post = result.xpath('//div[@class="p-top__1F7CL"]/a/text()[1]')
        location = result.xpath('//div[@class="p-top__1F7CL"]/a/text()[2]')
        salt = result.xpath('//div[@class="p-bom__JlNur"]/span/text()')
        suffer = result.xpath('//div[@class="p-bom__JlNur"]/text()[1]')
        # print(company,scale,post,location,salt,suffer)
        for com, sca, pos, loc, sal,suf in zip(company, scale, post, location, salt,suffer):
            print(f'{com} ====== {sca} ====== {pos} ====== {loc} ===== {sal} ===== {suf}')
            writer.writerow({'公司': com, '规模': sca, '岗位': pos, '地区': loc, '薪资': sal,'经验要求':suf})

三、获取的结果

版权声明和免责声明 本博客提供的所有爬虫代码和相关内容（以下简称“内容”）仅供参考和学习之用。任何使用或依赖这些内容的风险均由使用者自行承担。我（博客所有者）不对因使用这些内容而产生的任何直接或间接损失承担责任。 严禁将本博客提供的爬虫代码用于任何违法、不道德或侵犯第三方权益的活动。使用者应当遵守所有适用的法律法规，包括但不限于数据保护法、隐私权法和知识产权法。 如果您选择使用本博客的爬虫代码，您应当确保您的使用行为符合所有相关法律法规，并且不会损害任何人的合法权益。在任何情况下，我（博客所有者）均不对您的行为负责。 如果您对本声明有任何疑问，或者需要进一步的澄清，请通过我的联系方式与我联系。