分别是爬取代码和可视化代码:
# 导入requests模块
import requests
# 从bs4中导入BeautifulSoup模块
from bs4 import BeautifulSoup
# 导入time模块
import time
# 将User-Agent以字典键对形式赋值给headers
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36"}
# 定义一个新函数getPositionInfo,包含参数detail_url
def getPositionInfo(detail_url):
# 将detail_url和headers参数,添加进requests.get()中,给赋值给res
res = requests.get(detail_url, headers=headers)
# 使用.text属性获取网页内容,赋值给html
html = res.text
# 用BeautifulSoup()传入变量html和解析器lxml,赋值给soup
soup = BeautifulSoup(html, "lxml")
# 使用find()函数获取class="new_job_name"的节点
# 使用attrs属性提取出title的属性值,赋值给变量job
job = soup.find(class_="new_job_name").text.strip()
# 使用find()函数获取class="job_academic"的节点
# 使用.text属性提取出标签内容,赋值给academic
academic = soup.find(class_="job_academic").text
# 使用find()函数获取class="job_position"的节点
# 使用.text属性提取出标签内容,赋值给position
position = soup.find(class_="job_position").text
# 使用find()函数获取class="job_money cutom_font"的节点
# 使用.text属性提取出标签内容,赋值给salary
salary = soup.find(class_="job_money cutom_font").text
# 使用with...as配合open()函数以a方式,打开路径为"./职位数据.txt"的文件,并赋值给f
with open("./职位数据.txt", "a") as f:
# 使用write()函数写入job,academic,position,salary
# 变量之间以逗号相连,在数据末尾添加换行符
f.write(job + ',' + academic + ',' + position + ',' + salary + '\n')
# for循环遍历range()函数生成的1-10的数字
for i in range(1, 10):
# 利用格式化字符生成串网站链接 赋值给变量url
url = f"https://www.shixiseng.com/interns?page={i}&type=intern&keyword=%E7%AE%97%E6%B3%95%E5%AE%9E%E4%B9%A0%E7%94%9F&area=&months=&days=°ree=&official=entry&enterprise=&salary=-0&publishTime=&sortType=&city=%E5%85%A8%E5%9B%BD&internExtend="
# 将url和headers参数,添加进requests.get()中,将字典headers传递给headers参数,给赋值给res
res = requests.get(url, headers=headers)
# 使用.text属性获取网页内容,赋值给html
html = res.text
# 用BeautifulSoup()传入变量html和解析器lxml,赋值给soup
soup = BeautifulSoup(html, "lxml")
# 使用find_all()查询soup中class=title ellipsis font的节点,赋值给titles
titles = soup.find_all(class_="title ellipsis font")
# for循环遍历列表titles
for item in titles:
# 使用.attrs获取href对应的属性值,并赋值给detail_url
detail_url = item.attrs["href"]
# 调用getPositionInfo()函数,传入参数detail_url
getPositionInfo(detail_url)
# 使用time.sleep()停顿2秒
time.sleep(2)
# 从pyecharts.charts中导入Bar模块
from pyecharts.charts import Bar
# 使用with...as语句配合open()函数以r方式,打开路径为“.//职位数据.txt”的文件,赋值给f
with open("./职位数据.txt", "r") as f:
# 使用readlines()读取f中的所有行,赋值给dataList
dataList = f.readlines()
# 新建一个字典cityDict
cityDict = {}
# for循环遍历列表dataList中的每个元素data
for data in dataList:
# 如果"薪资面议"在元素中
if "薪资面议" in data:
# 就跳过
continue
# 使用split()以逗号分隔data,索引第3项元素,赋值给city
city = data.split(",")[2]
# 使用split()以逗号分隔data,索引第4项元素,赋值给salary
salary = data.split(",")[3]
# 使用split()以斜杠分隔salary,索引第1项元素,赋值给daily
daily = salary.split("/")[0]
daily_list = daily.split("-")
if len(daily_list) == 1:
start = daily_list[0]
end = daily_list[0]
elif len(daily_list) == 2:
start = daily_list[0]
end = daily_list[1]
# 将start和end转换成整型相加后除以2,并赋值给average
average = (int(start)+int(end))/2
# 如果city不在字典cityDict的键中
if city not in cityDict.keys():
# 将字典中键所对应的值设置为空列表
cityDict[city] = []
# 使用append()函数往字典键所对应的值中添加average
cityDict[city].append(average)
# 新建一个字典city_num_dict
city_num_dict = {}
# for循环遍历cityDict.items()中的key,value
for key,value in cityDict.items():
# 使用sum()函数将列表value求和
# 使用len()函数计算列表value长度
# 使用//运算符计算列表value的平均值,赋值给average_value
average_value = sum(value)//len(value)
# 将字典cityDict的键对应的值设置为average_value
cityDict[key] = average_value
# 将字典city_num_dict的键设置为不同城市
# 将对应的值设置为len(value)
city_num_dict[key] = len(value)
# 创建Bar对象,赋值给bar
bar = Bar()
# 使用list()将字典cityDict所有键转换成列表,传入add_xaxis()中
bar.add_xaxis(list(cityDict.keys()))
# 使用add_yaxis()函数,将数据统称设置为"工资平均值"
# 将字典cityDict所有值转换成列表,作为参数添加进函数中
bar.add_yaxis("工资平均值",list(cityDict.values()))
# 使用render()函数存储文件,设置文件名为salary.html
bar.render("salary.html")
# 创建Bar对象,赋值给bar_city
bar_city = Bar()
# 使用list()将字典city_num_dict所有键转换成列表,传入add_xaxis()中
bar_city.add_xaxis(list(city_num_dict.keys()))
# 使用add_yaxis()函数,将数据统称设置为"职位数量市"
# 将字典city_num_dict所有值转换成列表,作为参数添加进函数中
bar_city.add_yaxis("职位数量",list(city_num_dict.values()))
# 使用render()函数存储文件,设置文件名为positions.html
bar_city.render("positions.html")