scala python_scala 调用 python脚本

最近团队在做代码移植，将C++代码用scala实现服务端的矩阵算法，做到最后一步发现C++的文件压缩是直接调用python脚本来实现的，本着一致性的原则，文件压缩也用scala来实现。但是测试的时候发现，这个压缩效率跟调用python执行相差太大了，2G的txt格式文件，用scala实现压缩用了将近200秒，但是用python只需要大约40秒，有点接受不了，反正团队最近的故事也很少，于是研究了一下。

其实，scala调用python脚本是非常简单，首先导入包

import scala.sys.process._

然后只需要执行一行命令即可：

"python /home/test.py args" !     //test.py是需要执行的Python脚本,args：Python需要的参数

这条命令是可以直接在安装scala环境下执行的

但是，现在出现了一个问题，因为上面的python脚本要加上路径，而我们的工程所有的资源都要打包成 jar 放在 集群环境执行的。那么，我们这个这个脚本应该放在哪里才能让python 找到来解析执行呢？想了两种解决方案

第一，脚本跟jar包分离，给一个固定的路径，然后在命令中将路径写死。这样的话，需要另外安装脚本来上次这个压缩脚本，而且，发布版本涉及的工程太多了，不同部门不同团队的，而且自己也不了解发布涉及的所有安装脚本。搞不好这个功能分分钟出问题啊，这种方法是不可行的。

第二，将这个脚本放在我们团队的工程下面，跟随其他代码一块打包，这样的话就比较容易控制了。但是，打包成 jar 后，Python是解析不到 jar 里面的文件的。思考了一下，找到了一种方法：

在代码中，找到脚本在 jar里面的位置，然后将文件流读取出来，写到一个本地的路径下，这样，python解析器就能找到脚本的位置啦。貌似可以，于是立马敲代码验证：

上代码：

def CompressFiles(){

val fileInjar = "/CompressFile.py"   //打包后，可以查看这个脚本在jar的相对路径(我的是存放在根目录)

val in = this.getClass.getResourceAsStream(fileInjar) //获取脚本InputStream

//获取jar所在的集群路径

val jarPath = this.getClass.getProtectionDomain.getCodeSource.getLocation.getPath.replace("\\","/")

val pyDir = jarPath.substring(0,jarPath.lastIndexOf("/"))+"CompressFile.py"

if(in != null){

val f = new File(pyDir)

if (!f.exists()) f.mkdirs

val localFile = pyDir +"CompressFile.py"

val out = new FileOutputStream(localFile)

val buf = new Array[Byte](1024)

try {

var nLen = in.read(buf)

while(nLen != -1){

out.write(buf,0,nLen)

nLen = in.read(buf)

}

}catch {

case e:Exception => log.error(e.getMessage)

case _ => log.error("Read CompressFile.py Exception")

}finally{

in.close

out.close

}

//以上代码便可以将jar里面的脚本写入到了jar包所在集群里面的某台机器的本地路径了，这就爽了，

//Python可以找到脚本解析啦啦啦啦，，这样只要把scala那条命令执行就行了

val para = "args"

s"python $localFile  $para" !   //para参数

}else{

log.error("a NULL error occurred when Read CompressFile.py in jar,maybe the path is invalid!")

}

}

至此，调用完成。