利用xpath爬取站长网站的免费简历模板

爬前须知

xpath解析原理:
1.实例化一个etree对象，且仅需要将被解析的页面源码加载到该对象中
2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获

• 环境安装:
  pip install lxml
  -分析步骤：
  1.把第一个网页的所有简历的新页面url获取到
  2.到详情页，获取下载地址，对下载地址发起请求
  3.完成之后，再考虑进行分页操作

#常规步骤：’’‘举例
0.创建文件夹用来存放爬取到的数据
{
if not os.path.exists(’./moban’):
os.mkdir(’./moban’)
}
1.获取url响应数据 page_text
2.实例化一个对象 tree,通过 etree.HTML(page_text)
3.利用xpath工具定位到想要获取的内容 tree.xpath(’/div[@class=‘ss’]/ul/li/a’)
4.for循环遍历获得多个属性，并进行提取alt = li.xpath(’./a/img/@alt’)[0]
5.进行持久化存储
{
1.获得新的url对应图片的响应数据 data = requests.get().content
2.img_path = ‘moban/’+img_name
}
‘’’
注意：
1.通过观察第一页的url :http://sc.chinaz.com/jianli/free.html
与后面页面的规律不同，需要额外爬取。即爬取第一页，和第二页到第N页的模板。
2…rar文件可以二进制文件形式写入
3.获取新的url之后，需要对新的url进行实例化，这一步很容易遗漏

代码

import requests
import os
from lxml import etree

if not os.path.exists(