Python爬取网站职位信息

最新推荐文章于 2024-07-09 14:45:02 发布

A_ChunUnique

最新推荐文章于 2024-07-09 14:45:02 发布

阅读量524

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/gavin_chun/article/details/78636194

版权

python 专栏收录该内容

0 篇文章 0 订阅

订阅专栏

# -*- coding = utf-8 -*-
import requests
from bs4 import  BeautifulSoup as bs
"""
爬取51job里面的工作岗位，公司名称，工作地点，薪资，发布时间
"""
url = "http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=020000&keyword=%E5%A4%A7%E6%95%B0%E6%8D%AE&keywordtype=2&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9"
#requests获取url
html = requests.get(url)
html.encoding='gbk'
#解析url内容，只有通过bs解析后我们才能访问到html的标签
soup = bs(html.text,"html.parser")
#我们爬取的内容在class等于el里面，且去掉下标为0的，下标为0不是我们要的，所以从下标为1开始
els = soup.select(".dw_table .el")[1:]
for el in els:
    Position = el.select_one(".t1 span a").text.replace(" ","")
    Company = el.select_one(".t2").text
    Address = el.select_one(".t3").text
    Salary = el.select_one(".t4").text
    Pub_time= el.select_one(".t5").text
    print(Position + "|" + Company + "|" + Address + "|" + Salary + "|" + Pub_time)