python+requests 爬虫抓取页面上的公司和薪资

最新推荐文章于 2023-02-15 10:23:43 发布

lr936428775

最新推荐文章于 2023-02-15 10:23:43 发布

阅读量512

点赞数 2

分类专栏：爬虫 python 保存csv 文章标签：爬虫

本文链接：https://blog.csdn.net/lr936428775/article/details/102912498

版权

爬虫同时被 2 个专栏收录

2 篇文章 0 订阅

订阅专栏

python 保存csv

2 篇文章 0 订阅

订阅专栏

import requests
from lxml.html import etree
import csv

response=requests.get("网站的url地址")
# 获取的网页中文是乱码的，需要转码
response.encoding="gbk"
# 将str类型的html页面转化为html格式（element）
html=etree.HTML(response.text)
# 获取总数
el_count=html.xpath('//*[@id="resultList"]/div/p/span')
# 定义保存csv 文件的 名字和路径
file=open("workinfo.csv","w",newline="")
write=csv.writer(file)

# 遍历，获取公司名，职位名，地区，薪资，发布时间
for i in range(0,len(el_count)):
    item=[]
    index=4+i
    work_name=html.xpath('//*[@id="reList"]/div['+str(index)+']/p/span/a/@title')
    company_name=html.xpath('//*[@id="reList"]/div['+str(index)+']/span/a/@title')
    a_text=html.xpath('//*[@id="reList"]/div['+str(index)+']/span/text()')

    # print(a)
    item.append(work_name)
    item.append(company_name)
    item.append(a_text)
    write.writerow(item)

file.close()

备注：

requests.get("").text 获取到的html内容如果包含中文出现乱码，可以参考：https://www.cnblogs.com/IMWU/p/10956124.html 这篇文章，作者提供的解决方法很棒