一、需求背景:
公司有爬虫需求,希望通过xpath解析网页,最早的版本是调用Java版本的Jsoup来完成的,但是Jsoup只能处理一些简单的xpath,对于一些特殊函数的xpath无法支持,后来又通过使用xpath2selector用来处理高级xpath问题,但是xpath2selector也存在一些问题,不能支持部分高级函数以及乱码问题,java版本使用xpath太难寻找,最终决定使用python作为解析xpath的语言。
二、需求分析
用python解析xpath需要解决两个问题
1.Java调用python
2.python 解析xpath
三、需求实现
1、Java调用python
刚开始的时候使用Jython作为Java和python之间的互通工具,测试之后确实可以使用,但是等到使用python的时候发现Jython不支持lxml,最后决定使用Java原生调用命令行的方式。以下为Java原生调用python的解决方案
String[] args = ["本机python路径","python脚本路径","传入参数一","传入参数二"]; //注:在linux环境中每个传入的参数长度不能超过132kb
Process proc;
try {
proc = Runtime.getRuntime().exec(args);
BufferedReader in = new BufferedReader(new InputStreamReader(proc.getInputStream()));
String line;
while ((line = in.readLine()) != null) {
result.append(line).append('\n');
}
in.close();
proc.waitFor();
} catch (IOException | InterruptedException e) {
e.printStackTrace();
}
2、python接收数据并用lxml处理返回
1:接收数据
import sys
from lxml import etree
xpath = sys.argv[1]
content = sys.argv[2]
2:xpath处理
source = ""
xpath = ""
html = etree.HTML(source)//source为html文本
for e in html.xpath(xpath):
xml = etree.tostring(e,pretty_print=True, method="html").strip() //xml即为所得到的xpath解析结果,返回即可
//若出现乱码问题添加encoding="utf-8",一般编码问题都可以解决
xml = etree.tostring(e,encoding="utf-8",pretty_print=True, method="html").strip()
//若仍未乱码,有可能为源码为编译后的html代码,需要解析
source = source.decode("utf-8")
html = etree.HTML(source)//source为html文本
3、环境搭配
pip install lxml