爬虫小案例05—使用Xpath解析网站

最新推荐文章于 2024-04-14 04:05:54 发布

云晓-

最新推荐文章于 2024-04-14 04:05:54 发布

阅读量535

点赞数 2

分类专栏：爬虫文章标签：爬虫 python

本文链接：https://blog.csdn.net/one_bird_/article/details/123149747

版权

爬虫专栏收录该内容

15 篇文章 5 订阅

订阅专栏

本案例使用Xpath解析源码，从而获取我们想要的内容
在这里插入图片描述

1. 获取网页源码

import requests
from lxml import etree
#输入关键字点击搜索后，跳转后的网址是我们的目标网址
url = 'https://beijing.zbj.com/search/f/?kw=python%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90'
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:97.0) Gecko/20100101 Firefox/97.0"
}
resp = requests.get(url,headers = headers)
print(resp.text)

2. 将HTML源码进行预加载

html = etree.HTML(resp.text) #将HTML源码进行预加载

3. 获取内容

3.1 找到所需要的内容所在的位置

在这里插入图片描述

3.2 复制路径

在这里插入图片描述获得如下路径：
/html/body/div[6]/div/div/div[2]/div[5]/div[1]/div

3.3 使用Xpath表达式获取内容

#拿到每一个服务商的div
divs = html.xpath("/html/body/div[6]/div/div/div[2]/div[5]/div[1]/div")
for div in divs:
	  #全路径
    #prices = div.xpath("./div/div/a[2]/div[2]/div[1]/span[1]/text()")
    #根据div的class属性快速定位位置
    price = div.xpath(".//div[@class='service-price clearfix']/span[1]/text()")[0].strip("¥") #去除价格前面的￥符号
    title = "".join(div.xpath(".//div[@class='service-title']/p//text()")) 
    company_name = div.xpath("./div/div/a[1]/div/p/text()")[1].strip() #列表中有换行符，取列表中的第二个内容，并且去除换行符
    loc = div.xpath("./div/div/a[1]/div/div/span/text()")
    print(price)
    print(title)
    print(title)
    print(company_name)