xpath是常用且最便捷高效的一种解析方式,具有通用性。
—xpath解析原理:
-
实例化一个etree对象,且需要将被解析页面源码数据加载到该对象中
-
调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕捉
—环境安装
pip install lxml
—如何实例化一个etree对象:from lxml import etree
- 将本地的html文档中的源码数据加载到etree对象中:etree.parse(filepath)
- 可以将从互联网上获取的源码数据加载到该对象中:etree.HTML(‘page_text’)
- xpath(‘xpath表达式’)
—xpath表达式:
- /:表示的是从根节点开始定位,表示的是一个层级。
- //:表示多个层级。可以表示从任意位置开始定位
- 属性定位://div[@class=‘className’] tag[@attrName=“attrVal”]
- 索引定位://div[@class=‘className’]/p[3] 索引是从1开始的
- 取文本: text() 获取标签中直系文本内容 ;//text() 获取标签中非直系的文本内容(所有文本内容)
- 取属性: /@attrName
实例
爬取58同城二手房信息:
# 开发时间:2020/12/21 14:14
# 开发工具:PyCharm
# 开发者:Friday
import requests
from lxml import etree
if __name__ == "__main__":
headers = {
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
}
#爬取页面源码数据
url = 'https://hs.58.com/ershoufang/'
page_text = requests.get(url=url,headers=headers).text
#数据解析
tree = etree.HTML(page_text)
#存储title
fp = open('58.txt','w',encoding='utf-8')
#存储li标签对象
li_list = tree.xpath('//ul[@class="house-list-wrap"]/li')
#存储title的页面url
url_list = tree.xpath('//ul[@class="house-list-wrap"]/li/div[2]/h2/a/@href')
for li in li_list:
#局部解析
price = li.xpath('./div[3]/p/b/text()')[0]+'万'
single_price = li.xpath('./div[3]/p[2]/text()')[0]
print(price)
print(single_price)
for url in url_list:
title_text = requests.get(url=url, headers=headers).text
tree2 = etree.HTML(title_text)
title = tree2.xpath('//div[@class="main-wrap"]/div[1]/h1/text()')[0]
print(title)
爬取的次数太多了导致查看的时候需要验证码,还不会处理这种情况,所以先暂时这样,代码没有问题,可以获取房屋主题,价格以及每平方米的价格。还需要完善,将其相对应地保存到文件中,并学习解决此类异常的办法,估计需要用到自动识别验证码。