xpath爬取脚本:
from urllib import request
from lxml import etree
base_url=“https://tieba.baidu.com/f?kw=nba”
response=request.urlopen(base_url)
html=response.read().decode(‘utf-8’)
htmls=etree.HTML(html)
titles=htmls.xpath(’//div[@class=“threadlist_lz clearfix”]/div/a/@title’)
一开始在父级div没找到,因此再上一级找爷爷辈div,然后加个/div回到父级
//表示在整个html文档寻找,@表示寻找类名,再加一个/div表示它的下一级
print(titles)发现输出的是一个列表
for i in titles:
print(i)
为啥不直接找呢?
因为没有class标签,所以不好找,所以找它的父亲,看套再哪个class里
//div[@class=“pl2”]/a/@title
//p[@class=“pl”]/text()作者
P标签下用text找
//span[@class=“rating_nums”]/text()评分</