java-python桥接器

背景

工作要求，需要java调用python算法，但使用java内置方法调用python脚本，会导致python依赖临时加载导致python脚本执行及其慢，所以只能想办法将python的依赖预热，最简单的方式便是把python做成一个独立服务。

功能

1，python的方法发现和方法调用

python目录如下：

其中common封装了相关的返回、请求对象，及利用python反射实现的方法发现和方法调用

utils目前只有一个全局变量

自定义python算法同一放到service中

启动main.py后，python服务即可启动

common/register_center.py

def register_all_method():

current_path = os.path.dirname(os.path.dirname(__file__))

service_dir_path = current_path + os.path.sep + 'service'

# 获取全部python方法文件路径

file_paths = find_all_file_path(service_dir_path)

# 加载全部模块并获取全部方法与对应参数信息

return find_func_dic_list(file_paths)

def find_all_file_path(service_dir_path):

file_paths = []

for file in os.listdir(service_dir_path):

if not (file.startswith("__") and file.endswith("__")):

file_paths.append(file)

return file_paths

def find_func_dic_list(file_paths):

func_dic_list = []

for file_path in file_paths:

file_name = file_path[0:len(file_path) - 3]

module = importlib.import_module("service." + file_name)

for func_name in [item for item in dir(module) if not (item.startswith("__") and item.endswith("__") or item.startswith("return_"))]:

func_dic = {}

print(func_name)

# 模块名

func_dic.setdefault('module_name', file_name + '_4_' + func_name)

func_info = getattr(module, func_name)

params = func_info.__code__.co_varnames

func_dic.setdefault('params', params)

func_dic_list.append(func_dic)

return func_dic_list

2，java目录

 其中core为核心逻辑，切入编译器，实现编译阶段的方法发现和方法调用，并生成相应的java源文件，之后开发者只需要关注java部分而不需要关心python的修改逻辑

相关代码：

@SupportedSourceVersion(SourceVersion.RELEASE_11)

@SupportedAnnotationTypes(value = {"com.python.listener.annotation.EnablePyServiceDiscover"})

public class DiscoveryManager extends AbstractProcessor {

private Filer filer;

private Messager messager;

@Override

public synchronized void init(ProcessingEnvironment processingEnv) {

super.init(processingEnv);

this.filer = processingEnv.getFiler();

this.messager = processingEnv.getMessager();

messager.printMessage(Diagnostic.Kind.NOTE, "init");

}

@Override

public boolean process(Set<? extends TypeElement> annotations, RoundEnvironment roundEnv) {

messager.printMessage(Diagnostic.Kind.NOTE, "process");

Set<? extends Element> elements = roundEnv.getElementsAnnotatedWith(EnablePyServiceDiscover.class);

boolean flag = false;

for (Element element : elements) {

if (flag) {

break;

}

SpringBootApplication bootApplication = element.getAnnotation(SpringBootApplication.class);

if (bootApplication == null){

throw new CustomException("EnablePyServiceDiscover 注解必须作用于springboot启动项");

}

PackageElement p = (PackageElement) element.getEnclosingElement();

messager.printMessage(Diagnostic.Kind.NOTE, element.getClass().getPackageName());

EnablePyServiceDiscover enablePyServiceDiscover = element.getAnnotation(EnablePyServiceDiscover.class);

ChannelSocketWrite.init(enablePyServiceDiscover.serviceAddress(), enablePyServiceDiscover.servicePort());

String result = ChannelSocketWrite.call("func_dic_list");

result = result.replace("'", "\"").replace("(", "[").replace(")", "]");

messager.printMessage(Diagnostic.Kind.NOTE, result);

List<JSONObject> funcInfos = JSON.parseArray(result, JSONObject.class);

String filePackage = p.getQualifiedName() + ".rpc_service";

try {

// 生成接口的文件

GeneFile.geneInterface(funcInfos, filePackage).writeTo(filer);

// 只生成实现类的文件

GeneFile.geneImpl(funcInfos, filePackage, enablePyServiceDiscover.serviceAddress(), enablePyServiceDiscover.servicePort())

.writeTo(filer);

} catch (IOException e) {

e.printStackTrace();

} finally {

flag = true;

}

}

return false;

}

}

3，使用

自己的springboot项目依赖于本java项目，使用其中的@EnablePyServiceDiscover注解在springboot启动类上表明python的ip端口，编译后装配IPyService即可发现全部python方法