关于Beautifulsoup如何使用
以新安人才网网址为例
新安人才网址:
https://campus.goodjobs.cn/index.php/action/JobSearch?kt=0&sort=&keyword=&page=1
所要爬取页面:
代码示例如下:
import requests
import lxml
from bs4 import BeautifulSoup
url = 'https://campus.goodjobs.cn/index.php/action/JobSearch?kt=0&sort=&keyword=&page=1'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36'
}#请求头模拟游览器访问
str1=""
for i in range(1,101):#根据网址所想要爬取的页数
url = "https://campus.goodjobs.cn/index.php/action/JobSearch?kt=0&sort=&keyword=&page="+str(i)
response = requests.get(url, headers=headers)
response.encoding = 'utf-8'# 转化为中文
soup1 = BeautifulSoup(response.text,"html.parser")
list=soup1.findAll("div", class_=("clearfix sear-job"))
for line in list:
list1 = line.findAll("a", class_=("f16 black"))
list2 = line.findAll("div", class_="fl neutral f12")
str1 = str1 + "工作地点:" + list2[0].text.split()[3].strip()
str1 = str1 + " 工作岗位:" + list1[0].text.strip() + "\n"#list.text是提取数据文本,strip()去除首尾空格
wf1=open("C:/Users/LENOVO/Desktop/新安人才爬虫数据.csv","w")
wf1.write(str1)
wf1.close()
效果如下:
ps:也可以自行转化为csv文件
感谢阅读,支持关注与点赞,对作者的一种支持