Python爬虫——爬取简历模板

已于 2023-11-22 22:09:20 修改
阅读量735 收藏 2
点赞数 1
文章标签： python 爬虫 开发语言
于 2023-11-22 22:03:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44777595/article/details/134557066
版权

Python爬虫爬取简历模板——BeautifulSoup解析网页数据

网址：https://sc.chinaz.com/jianli/


这个网站中有多种风格的简历模板，这里以爬取“适合大学毕业生简历表格模板”为例。网址为：https://sc.chinaz.com/jianli/biaoge.html 。


一、观察网页数据


在这里插入图片描述

“适合大学毕业生简历表格模板”共有31页，因此我们需要找到每一页的URL的规律，以便使用循环遍历请求每一个的数据。


在这里插入图片描述

第一页的url：https://sc.chinaz.com/jianli/biaoge.html

第二页的url：https://sc.chinaz.com/jianli/biaoge_2.html

第三页的url：https://sc.chinaz.com/jianli/biaoge_3.html

…

将第一页的url修改为：https://sc.chinaz.com/jianli/biaoge_1.html ，但是并不能获取到第一页的内容，因此从第二页开始的url是有规律的，都带有页数，第一页的url没有规律，所以可以单独获取第一页的模板文件，通过循环获取其他页的模板文件。


点进去其中一个简历模板查看，可以发现，只要点击黄色的“点击下载”按钮就可以下载简历模板的.rar文件。

在这里插入图片描述

这是其中一种下载情况，另一种下载情况如下图，有多个下载地址，同样，只要点击其中一个下载地址就可以下载模板的.rar文件

在这里插入图片描述



查看网页源码：


打开网址https://sc.chinaz.com/jianli/biaoge.html。点击网页源码中的选择按钮，然后选中网页中的任意一个简历模板：


在这里插入图片描述

可以发现定位到网页源码的标签<a>中有一个属性href，这就是简历模板的详情页连接，我们点击该链接发现可以跳转到对应的简历模板详情页。所以我们可以从对当前页面发起请求，获取页面中每一个简历模板的详情页链接。


在这里插入图片描述

打开模板的详情页，查看网页源码，同样定位到黄色的“点击下载”按钮，可以发现该<a>标签中有一个href属性，是以.rar结尾的地址，点击该地址就可以下载模板文件的.rar文件。

因此我们可以对简历模板详情页发起请求，获取其下载地址。


在这里插入图片描述

对于有多个下载地址的下载情况，我们只需要获取其中一个下载地址即可。


在这里插入图片描述


整体思路：


1）先对每个页面发起请求

第一页的url：https://sc.chinaz.com/jianli/biaoge.html

第二页的url：https://sc.chinaz.com/jianli/biaoge_2.html

第三页的url：https://sc.chinaz.com/jianli/biaoge_3.html
…

由于第一页的URL与其他页规律性不符，因此可以单独请求第一页，对其他页面则通过循环改变页数。获取每个页面中所有的简历模板的详情页地址。


2）对每个简历模板详情页发起请求


由于有两种下载情况，因此需要通过条件判断模板文件的下载情况属于两种中的哪一种，然后获取相应的下载地址。


3）对模板文件的下载地址发起请求，将模板的.rar文件保存到本地。



二、对页面发起请求，获取简历模板详情页链接


2.1 获取第一页的模板详情页地址


  • 导入所需的模块
import requests
from bs4 import BeautifulSoup
from time import sleep
  • 对网页发起请求，获取网页响应
# 发起请求，获取网页响应
response = requests.get(url,headers=headers)
print(response.encoding)         # 编码格式是：ISO-8859-1
print(response.status_code)
# print(response.text)             # 输出有乱码
response.encoding = 'utf-8'      # 将响应内容的编码改为utf-8编码
# print(response.text)
data = response.text
  • 解析网页数据，获取模板详情页链接和模板的标题

我们之前定位页面中的简历模板时定位到<a>标签，页面中所有的简历模板详情页地址都是在该标签的href属性中。定位到<div id='main'>可以定位页面中所有的简历模板，说明所有简历模板的地址都在该标签下。这里我们通过BeautifulSoup来解析网页响应数据。具体可以参考Python爬虫——网页数据解析方法。


在这里插入图片描述


定位到模板所在的a标签，右键选择“复制”——“复制selector”，即可复制当前标签的selector，#container > div:nth-child(2) > a 。

label = soup.select('#container > div:nth-child(2) > a')
print(label)

目前我们已经定位到简历模板地址所在的a标签，输出查看标签中的内容。模板详情页地址是a标签href属性值，模板标题是a标签的子标签img的属性alt的属性值。
在这里插入图片描述


可以发现，取到的a标签被放一个列表中，所以需要通过列表的索引取值才能获取到a标签：

在这里插入图片描述


现在已经获取a标签，接下来获取a标签中的属性href的属性值，即简历模板的详情页地址。通过在标签后面加上[‘属性名’]即可取到对应的属性值：

在这里插入图片描述

获取简历模板的标题：
在这里插入图片描述


已经获取到其中一个简历模板的详情页地址和标题，我们需要的是页面中所有模板的详情页地址和标题。观察标签的selector：#container > div:nth-child(2) > a 可以发现，a标签的上一级标签是<div>标签，再上一级是id='container’的div标签，所有简历模板的详情页地址都在该标签下。而中间的div:nth-child(2)表示container下的第2个div标签，所以只要我们去掉这个序号，就可以获取到所有的a标签。

在这里插入图片描述

我们已经获取了第一页所有简历模板的详情页地址所在的a标签，它们被封装在一个列表中，接下来循环列表，获取每个a标签的href属性值，即模板的详情页地址。


labels_1 = soup.select('#container > div > a')
labels_2 = soup.select('#container > div> a > img')
detail_urls = []           # 存放模板详情页地址的列表
titles = []
for i in range(len(labels_1)):
    link = labels_1[i]['href']   # 获取标签中href属性的属性值
    detail_urls.append(link)
    title = labels_2[i]['alt']
    titles.append(title)
    
print(detail_urls)
print(titles)

输出结果：

在这里插入图片描述


至此，我们已经获取到了第一页的简历模板的详情页地址和标题。


2.2 通过for循环实现翻页，获取不同页面中简历模板详情页地址

这里以获取第二页、第三页模板详情页地址为例。通过循环实现翻页，接下来获取详情页地址的方法与上面相同。



for i in range(2,4):
    url = f'https://sc.chinaz.com/jianli/biaoge_{i}.html'     # 将页面数作为参数传入url中
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.61'}

    # 发起请求，获取网页响应
    response = requests.get(url,headers=headers)
    sleep(3)                             # 睡眠3秒
    response.encoding = 'utf-8'          # 将响应内容的编码改为utf-8编码
    # print(response.text)
    data = response.text

    # 实例化一个BeautifulSoup对象
    soup = BeautifulSoup(data,'lxml')    # 使用lxml解析器进行解析
    labels_1 = soup.select('#container > div > a')
    labels_2 = soup.select('#container > div> a > img')
    
    for i in range(len(labels_1)):
        link = labels_1[i]['href']   # 获取标签中href属性的属性值
        detail_urls.append(link)
        title = labels_2[i]['alt']
        titles.append(title)


print(len(detail_urls))
print(detail_urls)
print(len(titles))
print(titles)

执行结果：

获取三页共120个详情页地址和标题（包括第一页的模板地址和标题）

在这里插入图片描述


三、请求模板详情页，获取模板下载地址


我们已经获取了页面中简历模板的详情页地址，接下来对详情页地址发起请求。


我们可以先向其中一个简历模板详情页发起请求，看看具体情况如何。


res = requests.get(url=detail_urls[0],headers=headers)
print(res.status_code)    # 查看状态码
print(res.encoding)       # 查看响应数据的编码类型
print(res.text)

输出结果：

可以发现，响应内容的编码格式是ISO-8859-1，与我们编译环境的编码格式不兼容，所以呈现的是乱码，所以需要将其编码格式改为utf-8。

在这里插入图片描述

解析请求模板详情页返回的响应数据：


实例化一个BeautifulSoup对象：

res.encoding = 'utf-8'          # 修改响应内容的编码格式为utf-8
data = res.text
soup = BeautifulSoup(data,'lxml')     # 实例化一个 BeautifulSoup对象
  • 对于第一种下载情况

在这里插入图片描述

打开网页源码，定位到该按钮所在标签，并复制其selector。

#saleinfo > div > a

获取该标签的内容：


label = soup.select('#saleinfo > div > a')
label

输出结果：

在这里插入图片描述

  • 对于第二种下载情况
    在这里插入图片描述

打开网页源码，选中其中一种下载方式，并复制其selector：

#down > div.clearfix.mt20.downlist > ul > li:nth-child(1) > a

获取该标签的内容：


res = requests.get(url=detail_urls[-1],headers=headers)
print(res.status_code)    # 查看状态码
print(res.encoding)       # 查看响应数据的编码类型
res.encoding = 'utf-8'
# print(res.text)
data = res.text
soup = BeautifulSoup(data,'lxml')     # 实例化一个 BeautifulSoup对象
label = soup.select('#down > div.clearfix.mt20.downlist > ul > li:nth-child(1) > a')
label

输出结果：

在这里插入图片描述


这两种下载情况在同一个简历模板的详情页是不可能同时出现的，可以试试看在情况1中使用情况2的selector或者在情况2中使用情况1的selector在来获取标签，返回的都是空列表。所以我们可以同时使用两种selector来获取标签，然后通过if条件判断列表是否为空，从而判断当前的模板文件是属于那种下载类型。


download_urls = []
for link in detail_urls:
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.61'}
    response = requests.get(url=link,headers=headers)  # 发起网页请求
    sleep(1)         # 睡眠1秒
    response.encoding = 'utf-8'    # 修改编码格式为utf-8
    data = res.text
    soup = BeautifulSoup(data,'lxml')     # 实例化一个 BeautifulSoup对象
    label1 = soup.select('#saleinfo > div > a')     # 返回值是一个列表
    label2 = soup.select('#down > div.clearfix.mt20.downlist > ul > li:nth-child(1) > a')   # 返回值是一个列表
    if (len(label1) != 0):         # 如果label1不是空列表，那么说明是第一种下载类型
        src = label1[0]['href']
        download_urls.append(src)
    elif (len(label2) != 0):       # 如果label2不是空列表，那么说明是第二种下载类型
        src = label2[0]['href']
        download_urls.append(src)
    
print(len(download_urls)) 
print(download_urls)

输出结果：

在这里插入图片描述


四、对下载地址发起请求，持久化存储文件


for j in range(len(download_urls)):
    path = 'D:\\scrape\\jianli\\' + titles[j] + '.rar'
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.61'}  # UA伪装
    data = requests.get(url=download_urls[j], headers=headers).content
    sleep(0.5)    # 睡眠0.5秒
    with open(path,'wb') as fp:
        fp.write(data)
        print(titles[j]+'.rar'+'下载成功！')
print('=================================================')
print('下载完成！！')

执行结果：

在这里插入图片描述

并且文件已经保存到本地：

在这里插入图片描述


五、完整代码


import requests
from bs4 import BeautifulSoup
from time import sleep


########################################### 获取第一页的简历模板详情页地址 #####################################


# url
url = 'https://sc.chinaz.com/jianli/biaoge.html'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.61'}

# 发起请求，获取网页响应
response = requests.get(url,headers=headers)
print(response.encoding)         # 编码格式是：ISO-8859-1
print(response.status_code)
# print(response.text)             # 输出有乱码
response.encoding = 'utf-8'      # 将响应内容的编码改为utf-8编码
# print(response.text)
data = response.text

# 实例化一个BeautifulSoup对象
soup = BeautifulSoup(data,'lxml')    # 使用lxml解析器进行解析
labels_1 = soup.select('#container > div > a')
labels_2 = soup.select('#container > div> a > img')
detail_urls = []           # 存放模板详情页地址的列表
titles = []
for i in range(len(labels_1)):
    link = labels_1[i]['href']   # 获取标签中href属性的属性值
    detail_urls.append(link)
    title = labels_2[i]['alt']
    titles.append(title)
    
print(detail_urls)
print(titles)




################################## 获取第二、三页的简历模板详情页地址  ########################################


download_urls = []
for link in detail_urls:
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.61'}
    response = requests.get(url=link,headers=headers)  # 发起网页请求
    sleep(1)         # 睡眠1秒
    response.encoding = 'utf-8'    # 修改编码格式为utf-8
    data = res.text
    soup = BeautifulSoup(data,'lxml')     # 实例化一个 BeautifulSoup对象
    label1 = soup.select('#saleinfo > div > a')     # 返回值是一个列表
    label2 = soup.select('#down > div.clearfix.mt20.downlist > ul > li:nth-child(1) > a')   # 返回值是一个列表
    if (len(label1) != 0):         # 如果label1不是空列表，那么说明是第一种下载类型
        src = label1[0]['href']
        download_urls.append(src)
    elif (len(label2) != 0):       # 如果label2不是空列表，那么说明是第二种下载类型
        src = label2[0]['href']
        download_urls.append(src)
    
print(len(download_urls)) 
print(download_urls)


############################## 对模板详情页发起请求，获取模板下载地址 ########################################

download_urls = []
for link in detail_urls:
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.61'}
    response = requests.get(url=link,headers=headers)  # 发起网页请求
    sleep(1)         # 睡眠1秒
    response.encoding = 'utf-8'    # 修改编码格式为utf-8
    data = res.text
    soup = BeautifulSoup(data,'lxml')     # 实例化一个 BeautifulSoup对象
    label1 = soup.select('#saleinfo > div > a')     # 返回值是一个列表
    label2 = soup.select('#down > div.clearfix.mt20.downlist > ul > li:nth-child(1) > a')   # 返回值是一个列表
    if (len(label1) != 0):         # 如果label1不是空列表，那么说明是第一种下载类型
        src = label1[0]['href']
        download_urls.append(src)
    elif (len(label2) != 0):       # 如果label2不是空列表，那么说明是第二种下载类型
        src = label2[0]['href']
        download_urls.append(src)
    
print(len(download_urls)) 
print(download_urls)


############################# 对模板下载地址发起请求，持久化存储数据 ####################################

for j in range(len(download_urls)):
    path = 'D:\\scrape\\jianli\\' + titles[j] + '.rar'
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.61'}  # UA伪装
    data = requests.get(url=download_urls[j], headers=headers).content
    sleep(0.5)    # 睡眠0.5秒
    with open(path,'wb') as fp:
        fp.write(data)
        print(titles[j]+'.rar'+'下载成功！')
print('=================================================')
print('下载完成！！')

六、总结


以上就是爬取简历模板的全部过程，程序中只爬取了第一、二、三页，如果想获取更多的模板，可以修改for循环翻页中的数字。或者，可以先使用for循环生成第2、3、4……页的请求URL，连同第一页的URL放到一个列表中，循环列表获取每一页的URL并对该页面发起请求。

在程序中，为了分解每个步骤，把各个部分的代码分开写。可以尝试将各个步骤合并起来，比如，获取到模板详情页的URL之后，对该URL发起请求来获取模板的下载地址，再对下载地址发起请求来将文件保存到本地，需要多嵌套几层循环。获取的.rar压缩文件，可以使用python对它们进行批量解压，这里不介绍。

该网站中还有其他模板，比如ppt、各种类型的图片等等。如果感兴趣可以继续去探索。

jojo来根易安
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ResumeParser:一个简单的简历解析器，用于从简历中提取信息
05-01
简历解析器 一个简单的简历解析器，用于从简历/简历中提取信息 注意：这仅是吡草精的包装纸。 解析的实际源代码可以在这里找到： : 安装 pip install pyresparser 图形用户界面 Django使用 使用GUI轻松提取和解释 对于运行GUI，请执行： python resume_parser/manage.py makemigrations python resume_parser/manage.py migrate python resume_parser/manage.py runserver 访问127.0.0.1以查看GUI 在职的： 在Docker中运行应用 安装docker-compose 从项目的根执行以下命令 建立我们的形象 docker-compose build 启动我们的容器和服务 docker-compose up -d 在浏览器中访问l
我的简历
03-05
博文链接：https://linde13652.iteye.com/blog/163705
简历分析工具源码.rar
11-02
利用爬虫原理做的简历分析工具，以减轻人力资源HR的处理简历及筛选简历的繁杂工作，主要运用了Pyqt5、python、request、beautifulsoup、xml等技术，将解析的简历信息格式化存储到excel中。
第一节 Python 简历 （蟒蛇）
china_demon的专栏
06-06 3927
是一种使你在编程时能够保持自己风格的程序设计语言，你不用费什么劲就可以实现你想要的功能，并且编写的程序清洗易懂。 一种解释型的、面向对象的、带有动态语义的高级程序设计语言 作者：Guido van Rossum Python的发展，可以分成几个重要的阶段： -CNRI时期：CNRI是资助Python发展初期的重要单位Python1.5版之前的成果大部分都在此时期内完成。 -BeOpen时
python爬取简历
qq_43286898的博客
05-09 865
import zipfile import re from win32com import client as wc #导入模块 import os import pymysql #将doc转化为docx.因docx为压缩包，自带html文件 def doc_to_docx(file): word = wc.Dispatch("Word.Application") # 打开word应用程序 doc = word.Documents.Open(file) #打开word文件 doc
python 爬虫爬取简历
01-08
python 爬虫爬取站长之站的模板，需要的看一看，毕业了，需要模板
Python爬虫爬取简历模板
qq_54346552的博客
09-23 2736
本片博客将带领大家运用xpath技术，从免费的简历网站一步步爬取数据。
Python—爬取简历模板案例(Xpath方法)
m0_65592409的博客
02-28 993
源码： import requests import os from lxml import etree if not os.path.exists('./简历模板'): os.mkdir('./简历模板') headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36
Python提取PDF简历中的信息，写入Excel
Oner.wv的专栏
11-01 979
今天为大家分享一个真实的案例。今天接到人力资源部同事的需求，想把他人投递的PDF简历资料里的关键信息数据，提取到excel表中汇总。目标资料背景：是由求职者自行编制的简历材料，投递到人力资...
Python批量爬取简历模板
Uncle_wangcode的博客
10-21 4109
Python批量爬取简历（pquery、正则）
pyresparser：一个简单的简历解析器，用于从简历中提取信息
02-03
除草剂 A simple resume parser used for extracting information from resumes 内置:red_heart:︎和 :hot_beverage: 通过 产品特点 提取名称 提取电子邮件 提取手机号码 提取技巧 提取总经验 提取大学名称 提取度 提取物名称 提取公司名称 安装 您可以使用以下方法安装该软件包 pip install pyresparser 对于NLP操作，我们使用spacy和nltk。 使用以下命令安装它们： # spaCy python -m spacy download en_core_web_sm # nltk python -m nltk.downloa
抓取保存简历联系人信息－chrome浏览器插件
10-22
抓取保存简历上的联系人信息:支持51job.com(前程无忧)、cjol.com(人才热线)、zhaopin.com(智能招聘)!------如需修改,联系! 安装方法：用chrome打开地址，chrome://extensions，将插件拖入； 使用方法：打开简历详细页面，点击插件按键保存!
Python知乎爬虫——爬取知乎用户简单数据信息
05-08
萌新入坑代码，大佬勿喷
python网络爬虫——爬取新浪新闻咨询
02-25
python网络爬虫，抓取新浪新闻信息，包括新闻标题、时间、来源、正文等
Python爬虫——爬取豆瓣电影Top250代码实例
09-19
主要介绍了Python爬取豆瓣电影Top250实例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
python_爬虫——爬取糗事百科
03-10
亲测有效，不管是windows 还是Linux都...使用python 爬取糗事百科的段子，通过回车键控制，一次一个，同时可以把看过的内容保存到本地查看 具体实现可以参照 http://blog.csdn.net/qiqiyingse/article/details/60583129
爬虫采简历数据：优劣剖析
oGuJing123的博客
05-14 934
在人才竞争日益激烈的今天，招聘已经成为了企业最头疼的问题之一。而在招聘流程中，人力资源管理者需要收集大量的简历信息，进行筛选、面试和录用等步骤。为了提高效率，许多企业开始使用爬虫技术来采集简历数据。本文将详细介绍如何使用爬虫采集简历数据，并探讨其优缺点。一、爬虫技术概述爬虫是一种自动化工具
python读取doc简历_Python ：解析 word 文档（前程无忧简历）
weixin_39602280的博客
12-16 483
From:Subject: ResumeMIME-Version:1.0X-51JOB-FLAG:EhireExport_20180816_20532488Content-Type:multipart/related;boundary="--boundary_0_9ed30801b0c180c69b3c5d74fede848e"----boundary_0_9ed30801b0c180c69b3c...
python爬虫jwt爬取
最新发布
09-10
关于使用Python爬虫来爬取JWT（JSON Web Token）的问题，我可以为您提供一些指导。 首先，JWT是一种用于身份验证和信息传递的开放标准。如果您想要爬取包含JWT的网页数据，您需要先进行身份验证并获取有效的JWT令牌...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值