新安人才网爬虫数据—使用BeautifulSoup方法

关于Beautifulsoup如何使用

以新安人才网网址为例

新安人才网址:

https://campus.goodjobs.cn/index.php/action/JobSearch?kt=0&sort=&keyword=&page=1

所要爬取页面：

 

代码示例如下：

import requests
import lxml
from bs4 import BeautifulSoup
url = 'https://campus.goodjobs.cn/index.php/action/JobSearch?kt=0&sort=&keyword=&page=1'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36'
}#请求头模拟游览器访问
str1=""
for i in range(1,101):#根据网址所想要爬取的页数
    url = "https://campus.goodjobs.cn/index.php/action/JobSearch?kt=0&sort=&keyword=&page="+str(i)
    response = requests.get(url, headers=headers)
    response.encoding = 'utf-8'# 转化为中文
    soup1 = BeautifulSoup(response.text,"html.parser")
    list=soup1.findAll("div", class_=("clearfix sear-job"))
    for line in list:
        list1 = line.findAll("a", class_=("f16 black"))
        list2 = line.findAll("div", class_="fl neutral f12")
        str1 = str1 + "工作地点：" + list2[0].text.split()[3].strip()
        str1 = str1 + " 工作岗位：" + list1[0].text.strip() + "\n"#list.text是提取数据文本,strip()去除首尾空格
wf1=open("C:/Users/LENOVO/Desktop/新安人才爬虫数据.csv","w")
wf1.write(str1)
wf1.close()

效果如下：

 ps:也可以自行转化为csv文件

感谢阅读，支持关注与点赞，对作者的一种支持