Python3爬虫编程学习笔记（五）实战：爬取安居客房屋信息之 XPath学习

最新推荐文章于 2024-06-02 21:08:37 发布

流浪的虎哥

最新推荐文章于 2024-06-02 21:08:37 发布

阅读量1.5k

点赞数 1

文章标签： python xpath

本文链接：https://blog.csdn.net/weixin_44510363/article/details/105169543

版权

笔记目录

lxml库之XPath语法
爬取到网页源代码，并不是目的，爬虫的最终目的是采集到我们想要的数据，那么就必须进行数据提取。一般来说是利用Python自带的正则表达式re模块进行提取，无奈我只学到了表皮，为了不影响兴趣，学习路径定为lxml库的XPath语法–>BeautifulSoupy库–>正则表达式。

一、XPath基本语法

百度百科：XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。

XPath语法可用来在XML和HTML文档中对标签元素和属性进行遍历。所以在做爬虫时，完全可以使用XPath 来进行相应的信息提取。

在Python中使用XPath语法需要安装lxml库：

pip install lxml

1、XPath语法辅助工具

浏览器	辅助工具
Chrome浏览器	XPath Helper插件（扩展程序）
FireFox浏览器	try XPath插件

2、XPath语法简介

选取节点：

符号	说明
nodename	选取名称为nodname节点的所有子节点，如：head、body、div
/	如果是在最前面，代表从根节点选取，否则选择某节点下的某个节点，如：/html/body
//	从全局节点中选择节点（子孙节点），随便在哪个位置，如：//head//script 或 //div
@	选取拥有@example的所有节点的属性，如：//div@id，div中必须要有id属性
.	表示当前节点，“./”代表是当前节点的子节点
`..`	表示当前节点的父节点，“`..`/a”代表a是孙节点

谓语：

示例	说明
/body/div[1]	下标获取第一个div节点，下标是从1开始不是从0开始
/body/div[last()]	获取最后一个元素
/body/div[position()<5]	获取前4个元素
//div/[@id]	选取所有拥有id属性的div元素
//book[@id=10]	取所有属性id=10的book元素
//div[contains(@class,‘f1’)]	div下包含多个class的情况下，使用模糊匹配
a/text()	提取a节点下面的文本内容

多节点选取：

示例	说明
//body/	获取所有节点
div@	获取所有拥有属性的div元素

选取多个路径：
| 如：

//div[@class="job_bt"]|//div[@class="job_detail"]

运算符：
老师说用得多的主要是 “= < > != or and”，如:

//div[@class='abc' and id!='kkk']

3、XPath语法使用方式：

使用//获取整个页面当中的元素，然后写标签名，再写谓语进行提取：

divs=html.xpath('//div[@class="abc"]')

使用XPath需要注意的知识点：

1）/和//的区别：/代表只获取直接子节点，//获取子孙节点，一般情况下，//用得比较多。
2）contains：有时候某个属性中包含了多个值，那么可以使用’contains()'函数：

divs=html.xpath('//div[contains(@class，"job_detail")]')

3）谓语中的下标是从1开始的，不是从0开始的，列表、集合的下标才是从0开始的。
4）使用"xpath"语法，应该使用"Element.xpath()"方法来执行，返回永远是一个列表：

trs=html.xpath('//tr[position()>1]') # 获取除第1个tr外的所有tr标签
# 获取当前元素下某个标签的属性
href = html.xpath('.//a/@href')[0] 

# 从列表中获取文本，使用text()方法
address = tr.xpath('./td[4]/text()')[0]

# 在某个标签下，再执行xpath函数，获取这个标签下的子孙元
# 素，应该在斜杠之前加一个点"."，代表在当前元素下获取
# 可以用strip()方法去掉字符串的空白符
address = tr.xpath('./td[4]/text()')[0].strip()

二、XPath语法运用实例

1、解析源代码：

1）使用"lxml.etree.HTML()"进行html字符串源代码解析：

text = '<!DOCTYPE html>...'  # 字符串网页源代码
html=etree.HTML(text)   # 返回_Element对象
# 解码转换成字符串，tostring()会补齐缺失的节点
print(etree.tostring(html,encoding='utf-8').decode('utf-8'))

2）解析html文件：使用"lxml.etree.parse()"进行解析：

html=etree.parse('test.html')  # 读取本地保存的文件解析
print(etree.tostring(html,encoding='utf-8').decode('utf-8'))

该方法默认使用“lxml”解析器，需要xml代码规范，否则会报错，需要手动指定解析器HTMLParser：

parser=etree.HTMLParser(encoding='utf-8')   # 先创建一个parser解析器
html=etree.parse('test.html',parser=parser) # 再调用parser()方法解析，读取文件、传入parser解析器
print(etree.tostring(html,encoding='utf-8').decode('utf-8'))

2、实战作业：爬取安居客房屋信息

听完老师讲完爬取豆瓣正在上映电影的例子，正好同事想在南宁买一套二手房，于是动了把安居客南宁二手房信息爬取下来的想法，适合练手。那么就先易后难，本次作业只获取第一页列表信息即可，下载图片、进入第二页作为下次练手用。

分析网页：
浏览器打开安居客，按F12选择Network，选择南宁区域，通过分析可知，该网站是静态网页，为GET请求，普通方法即可获取源代码；
检索标签：
查看源代码可知，所有的房屋信息都是在ul标签下，每一个li标签就是一套房的信息；
提取数据：
通过分析，我想取得的信息有这几项：房屋名称（标题）、详情链接（第二页单独取得链接供下次使用）、房屋简介、是否真实出售及担保情况、小区地址、销售总价、销售单价、图片链接。提取数据用刚学的XPath语法，可以轻松获得。50页后二手房信息基本过期，不再提取。
保存数据：
使用panda库，将提取的房屋信息保存到CSV文件中，或是使用内置open()方法直接写入文件：anjuke.csv。

3.实战作业代码

# -*- encoding: utf-8 -*-
"""
作业：爬取安居客房屋信息，房屋详情暂未爬取、图片未下载
"""

from lxml import etree
import requests
from fake_useragent import UserAgent
import pandas as pd
import time, random

def get_html(url):
    '''获取网页源码'''
    # 设置代理IP，因数据较多，设置代理安全些
    proxy = {
        'http://': '182.46.113.194:9999',
        'https://': '112.85.150.220:9999',
        'http://': '113.195.171.190:9999',
        'http://': '112.85.150.220:9999'
    }
    uagent = UserAgent()  # 设置请求头
    headers = {'User-Agent': uagent.random}
    # 发送请求
    reponse = requests.get(url, headers=headers, proxies=random.choice(proxy))
    html = reponse.text  # 取得网页字符串信息
    return html

def get_houseInfo(html):
    '''获取房屋信息'''
    lis = html.xpath('//ul[@id="houselist-mod-new"]/li')  # 所有房屋信息都在li节点之下
    for li in lis:
        img = li.xpath('./div[1]/img/@src[1]')[0]  # 获取图片链接
        title = li.xpath('.//a/text()')[0].strip()  # 获取房屋信息标题
        href = li.xpath('.//a/@href')[0]  # 获取房屋详情链接
        style = li.xpath('.//i/text()')  # 获取安选、担保信息
        if len(style) > 2:
            del style[0]    # 如果有长度为3，第一个是空数据，删除
        style[1] = style[1].strip()  # 剔除空白、换行符
        details = li.xpath('./div[2]/div[2]/span/text()')  # 获取房屋简介
        address = li.xpath('./div[2]/div[3]/span[1]/@title')  # 获取小区名称、地址，有的房子未写
        if len(address) > 0:  # 删除&nbsp及分号
            address = address[0].split('\xa0\xa0')
        strong = li.xpath('./div[3]/span[1]/strong/text()')[0]  # 获取房屋销售总价
        price = li.xpath('./div[3]/span[2]/text()')[0]  # 获取房屋销售单价
        yield (title, href, details, style, address, strong, price, img)

def down_image(url):
    '''下载图片'''
    pass

def get_details(url):
    '''获取房屋更详细信息'''
    pass
    
def run():
    '''主运行函数'''
    print('数据采集中，请稍候......')
    houses = [
        '房屋名称',
        '详情链接',
        '房屋简介',
        '真实情况',
        '小区地址',
        '销售总价',
        '销售单价',
        '图片链接'
    ]
    for i in range(1, 51):
        url = f'https://nanning.anjuke.com/sale/p{str(i)}/#filtersort'
        html = etree.HTML(get_html(url))  # 调用请求函数
        df = pd.DataFrame(get_houseInfo(html), columns=houses)  # 提取房屋信息存入文件
        df.to_csv(r'webscraping/data/anjuke_pd.csv', encoding='utf-8', mode='a', index=False)
        time.sleep(random.randint(1, 8))  # 休息一会儿

        print(f'已成功采集第{str(i)}页数据！')
    print('恭喜，全部数据采集成功！')


if __name__ == "__main__":
    run()

说明：本学习笔记根据晚上观看学习B站乐林贝斯发布的视频《Python爬虫】新手强烈推荐：Python爬虫教程，学爬虫这一套就够了》所作笔记，非常感谢老师！

爬虫学习笔记系列：

Python3爬虫编程学习笔记（一）缘由
 Python3爬虫编程学习笔记（二）爬虫原理
 Python3爬虫编程学习笔记（三）学习urllib库基本用法
 Python3爬虫编程学习笔记（四）学习Requests第三方库基本用法

流浪的虎哥

关注

1
点赞
踩
25

收藏

觉得还不错? 一键收藏
0
评论
Python3爬虫编程学习笔记（五）实战：爬取安居客房屋信息之 XPath学习

爬取到网页源代码，并不是目的，爬虫的最终目的是采集到我们想要的数据，那么就必须进行数据提取。一般来说是利用Python自带的正则表达式re模块进行提取。XPath语法可用来在XML和HTML文档中对标签元素和属性进行遍历。所以在做爬虫时，完全可以使用XPath 来进行相应的信息提取。
复制链接

扫一扫