livy
码农道路深似海
这个作者很懒,什么都没留下…
展开
-
livy备注
livy启动方式 进入bin目录下 ./livy-server start也可以用./livy-server 直接启动,但是会出现前台启动无法退出的困扰xx.xx.xx.xx:8998:ui 可以进入livy的查看日志界面...原创 2018-11-28 22:33:58 · 194 阅读 · 0 评论 -
Python到pyspark中的py-files的问题
在spark平台上执行Python算法涉及到Python程序的改写,其中import部分需要额外注意。如果我们在执行某个test.py程序时需要调用另外一个common.py,需要在test.py内部添加import common,而此时的import common 不能放在程序头部,需要放在context之后。同时在执行程序时需要–py-files 参数指定引用模块的位置。图2为通过livy调用...原创 2019-01-18 17:17:29 · 6563 阅读 · 1 评论