Java调用python之lxml解析xpath

一、需求背景：

公司有爬虫需求，希望通过xpath解析网页，最早的版本是调用Java版本的Jsoup来完成的，但是Jsoup只能处理一些简单的xpath，对于一些特殊函数的xpath无法支持，后来又通过使用xpath2selector用来处理高级xpath问题，但是xpath2selector也存在一些问题，不能支持部分高级函数以及乱码问题，java版本使用xpath太难寻找，最终决定使用python作为解析xpath的语言。

二、需求分析

用python解析xpath需要解决两个问题
1.Java调用python
2.python 解析xpath

三、需求实现

1、Java调用python

刚开始的时候使用Jython作为Java和python之间的互通工具，测试之后确实可以使用，但是等到使用python的时候发现Jython不支持lxml，最后决定使用Java原生调用命令行的方式。以下为Java原生调用python的解决方案

   String[] args = ["本机python路径","python脚本路径","传入参数一","传入参数二"]; //注：在linux环境中每个传入的参数长度不能超过132kb
   Process proc;
   try {
        proc = Runtime.getRuntime().exec(args);            
        BufferedReader in = new BufferedReader(new InputStreamReader(proc.getInputStream()));
        String line;
        while ((line = in.readLine()) != null) {
            result.append(line).append('\n');
        }
        in.close();
        proc.waitFor();
    } catch (IOException | InterruptedException e) {
        e.printStackTrace();
    }

2、python接收数据并用lxml处理返回

 1：接收数据

import sys
from lxml import etree

xpath = sys.argv[1]
content = sys.argv[2]

2：xpath处理

source = ""
xpath = ""
html = etree.HTML(source)//source为html文本

for e in html.xpath(xpath):
    xml = etree.tostring(e,pretty_print=True, method="html").strip() //xml即为所得到的xpath解析结果，返回即可

//若出现乱码问题添加encoding="utf-8"，一般编码问题都可以解决
xml = etree.tostring(e,encoding="utf-8",pretty_print=True, method="html").strip() 

//若仍未乱码，有可能为源码为编译后的html代码，需要解析
source = source.decode("utf-8")
html = etree.HTML(source)//source为html文本

3、环境搭配

pip install lxml