用Python+XPath爬取linux命令
爬取的目标
Linux命令大全(手册)
用到的工具
语言:Python
解析库:lxml
查询语言:Xpath
XPath相关知识
在线Xpath测试平台
XPath菜鸟教程
开始爬取数据
最后需要的得到JSON格式
{
"name":,
"usage":,
"params":[
{"param":,"content":}
]
}
目标网站首页给出了一个命令的列表,我们需要得到每一个命令子页面的url
将源代码复制到xpather上,可以方便测试写出的XPath是否正确
得到解析出子页面
原创
2020-09-30 02:49:49 ·
146 阅读 ·
0 评论