利用xpath爬取网名

Xpath解析库介绍:

数据解析的过程中使用过正则表达式, 但正则表达式想要进准匹配难度较高, 一旦正则表达式书写错误, 匹配的数据也会出错.
网页由三部分组成: HTML, Css, JavaScript, HTML页面标签存在层级关系, 即DOM树, 在获取目标数据时可以根据网页层次关系定位标签, 在获取标签的文本或属性.

xpath安装, 初体验 --> 使用步骤:

1.xpath安装: pip install lxml
2.from lxml import etree

xpath语法:

1.常用规则:
1. nodename: 节点名定位
2. //: 从当前节点选取子孙节点
3. /: 从当前节点选取直接子节点
4. nodename[@attribute="…"] 根据属性定位标签
5. @attributename: 获取属性
6. text(): 获取文本

xpath语法的便捷获取（谷歌浏览器）:

右键的copy有xpath解析

爬取网名案例

#爬网名
import requests,time
from lxml import etree
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
url='http://www.resgain.net/net_name_tags.html'
res=requests.get(url=url,headers=headers)
html=res.content.decode('utf-8')
tree=etree.HTML(html)
urls=tree.xpath('/html/body/div[3]/div/div/div/a/@href')
index=0
names=tree.xpath('/html/body/div[3]/div/div/div/a/text()')
for i in urls:
    time.sleep(1)
    res1=requests.get(url='http://www.resgain.net/'+i,headers=headers)
    html1=res1.content.decode('utf-8')
    tree1=etree.HTML(html1)
    wms=tree1.xpath('/html/body/div[3]/div[1]/div/div/div/text()')
    file_name='网名'
    with open(file_name+'/'+names[index],'w',encoding='utf-8') as f:
        for j in wms:
            time.sleep(1)
            f.write(j+'\n')
    index+=1