Python爬虫学习-Day4

本文介绍了XML的基本概念,强调其作为数据传输和存储的角色。接着,详细阐述了XPath语言,包括如何遍历XML文档、谓语、通配符和路径表达式的使用。此外,讨论了Python的lxml库,它是用于解析HTML和XML的强大工具,能自动修正代码,并提供了安装和基本用法。最后,展示了使用XPath爬取丁香园网站的实际案例,同时提到了在处理用户回复时遇到的问题及解决方案。
摘要由CSDN通过智能技术生成

1、XML介绍

  • XML指可扩展标记语言(EXtensible Markup Language)
  • XML是一种标记语言,很类似HTML
  • XML的设计宗旨是传输数据和存储数据,而非显示数据,其焦点是数据的内容(与HTML的区别)
  • XML的标签需要我们自行定义
  • XML被设计为具有自我描述性
  • XML是W3C的推荐标准
  • 每个元素以及属性都有一个父(Parent)
  • 元素节点可有零个、一个或多个子(Children)
  • 同胞(Sibling)拥有相同的父节点
  • 某节点的父、父的父等称为先辈(Ancestor)
  • 某个节点的子、子的子等称为后代(Descendant)

W3School官方文档:http://www.w3school.com.cn/xml/index.asp

XML文档实例

<?xml version="1.0" encoding="utf-8"?>

<bookstore> 

  <book category="cooking"> 
    <title lang="en">Everyday Italian</title>  
    <author>Giada De Laurentiis</author>  
    <year>2005</year>  
    <price>30.00</price> 
  </book>  

  <book category="children"> 
    <title lang="en">Harry Potter</title>  
    <author>J K. Rowling</author>  
    <year>2005</year>  
    <price>29.99</price> 
  </book>  

  <book category="web"> 
    <title lang="en">XQuery Kick Start</title>  
    <author>James McGovern</author>  
    <author>Per Bothner</author>  
    <author>Kurt Cagle</author>  
    <author>James Linn</author>  
    <author>Vaidyanathan Nagarajan</author>  
    <year>2003</year>  
    <price>49.99</price> 
  </book> 

  <book category="web" cover="paperback"> 
    <title lang="en">Learning XML</title>  
    <author>Erik T. Ray</author>  
    <year>2003</year>  
    <price>39.95</price> 
  </book> 

</bookstore>

2、XPath介绍

  • XPath(XML Path Language)是一门在XML文档中查找信息的语言,可用来在XML文档中对元素和属性进行遍历。
  • 开源的XPath表达式编辑工具:XMLQuire(XML格式文件可用)
  • XPath使用路径表达式来选取XML文档中的节点或者节点集。
表达式描述
nodename选取此节点的所有子节点。
/从根节点选取。
//从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
.选取当前节点。
选取当前节点的父节点。
@选取属性。

下面表格为一些路径的表达式以及结果。

路径表达式结果
bookstore选取 bookstore 元素的所有子节点。
/bookstore选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径!
bookstore/book选取属于 bookstore 的子元素的所有 book 元素。
//book选取所有 book 子元素,而不管它们在文档中的位置。
bookstore//book选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置。
//@lang选取名为 lang 的所有属性。
  • 谓语用来查找某个特定的节点或者包含某个指定的值的节点,被嵌在方括号中。
路径表达式结果
/bookstore/book[1]选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()< 3]选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=’eng’]选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00。

XPath 通配符可用来选取未知的XML元素。

通配符描述
*匹配任何元素节点。
@*匹配任何属性节点。
node()匹配任何类型的节点。

在下面的表格中,我们列出了一些路径表达式,以及这些表达式的结果:

路径表达式结果
/bookstore/*选取 bookstore 元素的所有子元素。
//*选取文档中的所有元素。
//title[@*]选取所有带有属性的 title 元素。

通过在路径表达式中使用“|”运算符,可以以选取若干个路径。

路径表达式结果
//book/title | //book/price选取 book 元素的所有 title 和 price 元素。
//title |//price选取文档中的所有 title 和 price 元素。
/bookstore/book/title |//price选取属于 bookstore 元素的 book 元素的所有 title 元素,以及文档中所有的 price 元素。

下面列出了可以用在XPath表达式中的运算符:
在这里插入图片描述

3、lxml介绍

  • lxml 是一个HTML/XML的解析器,主要的功能是如何提取HTML/XML数据
  • lxml和正则一样,也是用C实现的,
  • 需要安装C语言库,可使用pip安装:pip install lxml
  • lxml可以自动修正html代码
  • 除了直接读取字符串,lxml还支持从文件里读取内容

4、利用XPath爬取丁香园网站

用XPath抓取网页数据,代码还存在问题,当用户的回复有换行时,解析的时候会当成另一条回复来处理,还需进一步处理。
上述问题已经解决,在解决的过程中出现了返回对象搞错的失误,还是基础太薄弱,需多加练习。

import requests
from lxml import etree


url = "http://www.dxy.cn/bbs/topic/509959?keywords=%E6%99%95%E5%8E%A5%E5%BE%85%E6%9F%A5%E2%80%94%E2%80%94%E8%AF%B7%E6%95%99%E5%90%84%E4%BD%8D%E5%90%8C%E4%BB%81+-+%E5%BF%83%E8%A1%80%E7%AE%A1%E4%B8%93%E4%B8%9A%E8%AE%A8%E8%AE%BA%E7%89%88+-%E4%B8%81%E9%A6%99%E5%9B%AD%E8%AE%BA%E5%9D%9B%E2%80%8B+"
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 14_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'
    }
html = requests.get(url, headers=headers)

html.encoding="utf-8"
selector = etree.HTML(html.text)

use = selector.xpath("""//*/table/tbody/tr/td[1]/div[2]/a/text()""")
#s = selector.xpath("""//*/table/tbody/tr/td[2]/div[2]/div/table/tbody/tr/td/text()""")
s = selector.xpath('//*[@id="postcontainer"]')[0].xpath('div//td[@class="postbody"]')
#s = html.xpath('//*[@id="postcontainer"]')#[0].xpath('div//td[@class="postbody"]')
L = []
for uses,ss in zip(use,s):
    a = "用户:" + uses
    b = "回复内容:" + ''.join(ss.xpath('text()')).strip()
    #b = "回复内容:" + ss.strip()
    dic = {a:b}
    L.append(dic)

print(L)


结果:
[{'用户:楼医生': '回复内容:我遇到一个“怪”病人,向大家请教。她,42岁。反复惊吓后晕厥30余年。每次受响声惊吓后发生跌倒,短暂意识丧失。无逆行性遗忘,无抽搐,无口吐白沫,无大小便失禁。多次跌倒致外伤。婴儿时有惊厥史。入院查体无殊。ECG、24小时动态心电图无殊;头颅MRI示小软化灶;脑电图无殊。入院后有数次类似发作。请问该患者该做何诊断,还需做什么检查,治疗方案怎样?'}, {'用户:lion000': '回复内容:从发作的症状上比较符合血管迷走神经性晕厥,直立倾斜试验能协助诊断。在行直立倾斜实验前应该做常规的体格检查、ECG、UCG、holter和X-ray胸片除外器质性心脏病。贴一篇“口服氨酰心安和依那普利治疗血管迷走性晕厥的疗效观察”作者:林文华 任自文 丁燕生'}, {'用户:xghrh': '回复内容:同意lion000版主的观点:如果此患者随着年龄的增长,其发作频率逐渐减少且更加支持,不知此患者有无这一特点。入院后的HOLTER及血压监测对此患者只能是一种安慰性的检查,因在这些检查过程中患者发病的机会不是太大,当然不排除正好发作的情况。对此患者应常规作直立倾斜试验,如果没有诱发出,再考虑有无可能是其他原因所致的意识障碍,如室性心动过速等,但这需要电生理尤其是心腔内电生理的检查,毕竟是有一种创伤性方法。因在外地,下面一篇文章可能对您有助,请您自己查找一下。心理应激事件诱发血管迷走性晕厥1例 ,杨峻青、吴沃栋、张瑞云,中国神经精神疾病杂志, 2002 Vol.28 No.2'}, {'用户:keys': '回复内容:该例不排除精神因素导致的,因为每次均在受惊吓后出现。当然,在作出此诊断前,应完善相关检查,如头颅MIR(MRA),直立倾斜试验等。'}]
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值