一.需求
很多做数据分析的同事日常工作即使利用spark操作数据做一些聚合分析等等再写出数据作可视化等等.
而现在大热的zeppelin则可以完成丛数据抽取处理到展示的一条龙服务,但是由于zepplin还属于一个比较新的项目,没有那么稳定,之前公司内部使用 zeppelin 0.70 snapshot版本时发现zeppelin proxy user功能尚不能支持.意味着zeppelin内部启动的所有interpreter都会以同一个用户运行,不利于spark集群的权限控制,资源调度与安全记录,所以一直没有推开.
但是前几天偶然发现zeppelin 0.71版本在三月末发布了,并且支持user impersonation.也即代理用户功能,具体的实现可以参见官方文档,说的比较清晰.
我在尝试了之后发现spark interrupter确实可以支持代理用户.可以分用户,分notebook启动spark任务
但是目前zeppelin的interpreter一旦启动,会长期驻留后台,消耗大量的计算资源
所以还是使用zeppelin+livy的方式实现用户代理和后台权限控制.优点在于livy支持cluster模式并seesion 客户端一段时间(默认60分钟)不活动会自动中止spark任务.
二.难点
由于公司内部使用ldap验证用户身份,所以为zeppelin配置了shiro控件实现了ldap登录,但是从官方文档可知,如果想要zeppelin代理用户提交spark任务,目标用户必须首先存在于zeppelin服务器上.
但是ldap验证过后的用户都是abc@company.com的形式,而useeradd是不支持@这样的字符的.所以代理用户提交任务时会出现
id .... No such user这样的错误.
解决方案在于官方文档中提到的在zeppelin-env.sh配置文件中添加:
export ZEPPELIN_IMPERSONATE_CMD='sudo -H -u ${ZEPPELIN_IMPERSONATE_USER} bash -c '
这个指令会被bin/interrupter.sh执行起到代理用户启动interrupter的作用.显然下面的变量就是用户ldap登录成功后的用户名
${ZEPPELIN_IMPERSONATE_USER}
那么对上面的shell指令做一些更改将用户名变成不包括邮箱前缀不就解决问题了吗,如下
export ZEPPELIN_IMPERSONATE_CMD='echo ${ZEPPELIN_IMPERSONATE_USER} | cut -d \@ -f 1 |xargs -I {} sudo -H -u {} bash -c '
但是这样还是会报错
sudo: unknown user: {}
sudo: unable to initialize policy plugin
原因就在于bin/interrupter.sh 脚本中执行命令前会做一些包装,按照官方文档中的原生指令,这种包装是没问题的,但是由于我更改的指令里已经有echo了,两个echo指令叠加在一块就会导致命令提前被执行因而出现上面的错误.
ZEPPELIN_IMPERSONATE_RUN_CMD=$(eval "echo ${ZEPPELIN_IMPERSONATE_CMD} ")
解决方案就是将上面的指令改成:
ZEPPELIN_IMPERSONATE_RUN_CMD=$ZEPPELIN_IMPERSONATE_CMD
但这种方式毕竟只是权益之计,后续像官方jira反应希望能有更好的解决方案.