【2022】教你利用python爬取某实习网站信息并进行可视化输出

分别是爬取代码和可视化代码：

# 导入requests模块
import requests

# 从bs4中导入BeautifulSoup模块
from bs4 import BeautifulSoup

# 导入time模块
import time

# 将User-Agent以字典键对形式赋值给headers
headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36"}


# 定义一个新函数getPositionInfo，包含参数detail_url
def getPositionInfo(detail_url):
    # 将detail_url和headers参数，添加进requests.get()中，给赋值给res
    res = requests.get(detail_url, headers=headers)

    # 使用.text属性获取网页内容，赋值给html
    html = res.text

    # 用BeautifulSoup()传入变量html和解析器lxml，赋值给soup
    soup = BeautifulSoup(html, "lxml")

    # 使用find()函数获取class="new_job_name"的节点
    # 使用attrs属性提取出title的属性值,赋值给变量job
    job = soup.find(class_="new_job_name").text.strip()

    # 使用find()函数获取class="job_academic"的节点
    # 使用.text属性提取出标签内容，赋值给academic
    academic = soup.find(class_="job_academic").text

    # 使用find()函数获取class="job_position"的节点
    # 使用.text属性提取出标签内容，赋值给position
    position = soup.find(class_="job_position").text

    # 使用find()函数获取class="job_money cutom_font"的节点
    # 使用.text属性提取出标签内容，赋值给salary
    salary = soup.find(class_="job_money cutom_font").text

    # 使用with...as配合open()函数以a方式，打开路径为"./职位数据.txt"的文件，并赋值给f
    with open("./职位数据.txt", "a") as f:
        # 使用write()函数写入job,academic,position,salary
        # 变量之间以逗号相连，在数据末尾添加换行符
        f.write(job + ',' + academic + ',' + position + ',' + salary + '\n')


# for循环遍历range()函数生成的1-10的数字
for i in range(1, 10):

    # 利用格式化字符生成串网站链接 赋值给变量url
    url = f"https://www.shixiseng.com/interns?page={i}&type=intern&keyword=%E7%AE%97%E6%B3%95%E5%AE%9E%E4%B9%A0%E7%94%9F&area=&months=&days=&degree=&official=entry&enterprise=&salary=-0&publishTime=&sortType=&city=%E5%85%A8%E5%9B%BD&internExtend="

    # 将url和headers参数，添加进requests.get()中，将字典headers传递给headers参数，给赋值给res
    res = requests.get(url, headers=headers)

    # 使用.text属性获取网页内容，赋值给html
    html = res.text

    # 用BeautifulSoup()传入变量html和解析器lxml，赋值给soup
    soup = BeautifulSoup(html, "lxml")

    # 使用find_all()查询soup中class=title ellipsis font的节点，赋值给titles
    titles = soup.find_all(class_="title ellipsis font")

    # for循环遍历列表titles
    for item in titles:
        # 使用.attrs获取href对应的属性值，并赋值给detail_url
        detail_url = item.attrs["href"]


        # 调用getPositionInfo()函数，传入参数detail_url
        getPositionInfo(detail_url)

    # 使用time.sleep()停顿2秒
    time.sleep(2)

# 从pyecharts.charts中导入Bar模块
from pyecharts.charts import Bar

# 使用with...as语句配合open()函数以r方式，打开路径为“.//职位数据.txt”的文件，赋值给f
with open("./职位数据.txt", "r") as f:

    # 使用readlines()读取f中的所有行，赋值给dataList
    dataList = f.readlines()

# 新建一个字典cityDict
cityDict = {}

# for循环遍历列表dataList中的每个元素data
for data in dataList:

    # 如果"薪资面议"在元素中
    if "薪资面议" in data:
        # 就跳过
        continue

    # 使用split()以逗号分隔data，索引第3项元素，赋值给city
    city = data.split(",")[2]

    # 使用split()以逗号分隔data，索引第4项元素，赋值给salary
    salary = data.split(",")[3]

    # 使用split()以斜杠分隔salary，索引第1项元素，赋值给daily
    daily = salary.split("/")[0]

    daily_list = daily.split("-")
    if len(daily_list) == 1:
        start  = daily_list[0]
        end  = daily_list[0]
    elif len(daily_list) == 2:
        start = daily_list[0]
        end = daily_list[1]

    # 将start和end转换成整型相加后除以2，并赋值给average
    average = (int(start)+int(end))/2

    # 如果city不在字典cityDict的键中
    if city not in cityDict.keys():

        # 将字典中键所对应的值设置为空列表
        cityDict[city] = []

    # 使用append()函数往字典键所对应的值中添加average
    cityDict[city].append(average)

# 新建一个字典city_num_dict
city_num_dict = {}

# for循环遍历cityDict.items()中的key,value
for key,value in cityDict.items():

    # 使用sum()函数将列表value求和
    # 使用len()函数计算列表value长度
    # 使用//运算符计算列表value的平均值，赋值给average_value
    average_value = sum(value)//len(value)

    # 将字典cityDict的键对应的值设置为average_value
    cityDict[key] = average_value

    # 将字典city_num_dict的键设置为不同城市
    # 将对应的值设置为len(value)
    city_num_dict[key] = len(value)

# 创建Bar对象，赋值给bar
bar = Bar()

# 使用list()将字典cityDict所有键转换成列表，传入add_xaxis()中
bar.add_xaxis(list(cityDict.keys()))

# 使用add_yaxis()函数，将数据统称设置为"工资平均值"
# 将字典cityDict所有值转换成列表，作为参数添加进函数中
bar.add_yaxis("工资平均值",list(cityDict.values()))

# 使用render()函数存储文件，设置文件名为salary.html
bar.render("salary.html")

# 创建Bar对象，赋值给bar_city
bar_city = Bar()

# 使用list()将字典city_num_dict所有键转换成列表，传入add_xaxis()中
bar_city.add_xaxis(list(city_num_dict.keys()))

# 使用add_yaxis()函数，将数据统称设置为"职位数量市"
# 将字典city_num_dict所有值转换成列表，作为参数添加进函数中
bar_city.add_yaxis("职位数量",list(city_num_dict.values()))

# 使用render()函数存储文件，设置文件名为positions.html
bar_city.render("positions.html")