对于一个学习网络爬虫的新手来说,解析HTML网页的时候遇到了不少困难,尝试过正则表达式的小白就能体会,使用正则表达式来筛选网页内容是有多费劲,而且总是感觉效果不太好。因此学会使用XPath表达式和lxml库就变得非常重要。然而许多书籍在介绍使用lxml库来解析HTML网页的时候,都比较粗略,如果你直接抓取百度首页作为案例来尝试,会发现第一步就迈不出去。以下是一些书籍介绍的解析HTML网页的代码
from lxml import etree
'如果抓取百度首页测试,这一行代码会报错,新手做不下去了。**
html=etree.parse('hello.html')
result=html.xpath('//li')
print