Xpath

最新推荐文章于 2024-08-14 17:18:35 发布

2Bangz

最新推荐文章于 2024-08-14 17:18:35 发布

阅读量104

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/weixin_44277130/article/details/109471607

版权

python 专栏收录该内容

25 篇文章 0 订阅

订阅专栏

Xpath解析：最常用且最便捷高效的一种解析方法
在这里插入图片描述
属性定位：

r=tree.xpath('//div[@class="song"]') #//是定位到div的
#@是定位到class属性

在这里插入图片描述

取属性值，网址链接

实例爬取58同城二手房信息

import requests
from lxml import etree
if __name__ == "__main__":
    #爬取到页面源码数据
    headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0'}
    url='https://qd.58.com/ershoufang/?PGTID=0d100000-0007-a561-8676-fc901c0b0a3b&ClickID=2'
    page_text=requests.get(url=url,headers=headers).text
    #数据解析
    tree=etree.HTML(page_text)
    li_list=tree.xpath('//ul[@class="house-list-wrap"]/li')
    fp=open('58.txt','w',encoding='utf-8')
    #//表示从任意地方开始定位
    for li in li_list:
        title=li.xpath('./div[2]/h2/a/text()')[0]
        print(title)
		fp.write(title+'\n')

xpath 爬取图片

在这里插入图片描述
爬取图片

import requests
from lxml import etree
import os
if __name__ == "__main__":
    #爬取到页面源码数据
    headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0'}
    url='http://pic.netbian.com/4kmeinv/'
    res=requests.get(url=url,headers=headers)
    res.encoding='gb2312'
    page_text=res.text
    #解析src属性值  alt属性
    tree=etree.HTML(page_text)
    li_list=tree.xpath('//div[@class="slist"]/ul/li')
    #创建一个文件夹
    if not os.path.exists('./picLibs'):
        os.mkdir('./picLibs')
    #里标签要循环
    for li in li_list:
        img_src='http://pic.netbian.com'+li.xpath('./a/img/@src')[0]
        #局部解析要加.
        img_name=li.xpath('./a/img/@alt')[0]+'.jpg'
        #print(img_name,img_src)
    #请求图片进行持久化存储
    img_data=requests.get(url=img_src,headers=headers).content
    img_path='picLibs/'+img_name
    with open(img_path,'wb')as fp:
        fp.write(img_data)
        print(img_name,'下载成功！！！')