livy使用样例_如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业

最新推荐文章于 2024-05-15 10:01:26 发布
最新推荐文章于 2024-05-15 10:01:26 发布
阅读量717 收藏
点赞数
文章标签： livy使用样例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32558567/article/details/113585183
版权

package com.cloudera.utils;

import net.sourceforge.spnego.SpnegoHttpURLConnection;

import java.io.ByteArrayOutputStream;

import java.io.IOException;

import java.io.InputStream;

import java.net.URL;

import java.util.Map;

/**

* package: com.cloudera.utils

* describe: 访问Kerberos环境的Http工具类

* creat_user: Fayson

* email: htechinfo@163.com

* creat_date: 2018/2/12

* creat_time: 下午4:57

* 公众号：Hadoop实操

*/

public class KBHttpUtils{

/**

* HttpGET请求

* @param url

* @param headers

* @return

*/

public static String getAccess(String url, Map headers) {

StringBuilder sb = new StringBuilder();

ByteArrayOutputStream bos = new ByteArrayOutputStream();

InputStream in = null;

try {

final SpnegoHttpURLConnection spnego = new SpnegoHttpURLConnection("Client");

spnego.setRequestMethod("GET");

if(headers != null && headers.size() > 0){

headers.forEach((K,V)->spnego.setRequestProperty(K,V));

}

spnego.connect(new URL(url),bos);

in = spnego.getInputStream();

byte[] b = new byte[1024];

int len ;

while ((len = in.read(b)) > 0) {

sb.append(new String(b, 0, len));

}

}catch (Exception e){

e.printStackTrace();

}finally {

if (in != null) {

try {

in.close();

} catch (IOException e) {

e.printStackTrace();

}

}

if (bos != null) {

try {

bos.close();

} catch (IOException e) {

e.printStackTrace();

}

}

}

System.out.println("Result:" + sb.toString());

return sb.toString();

}

/**

* HttpDelete请求

* @param url

* @param headers

* @return

*/

public  static String deleteAccess(String url, Map headers) {

StringBuilder sb = new StringBuilder();

ByteArrayOutputStream bos = new ByteArrayOutputStream();

InputStream in = null;

try {

final SpnegoHttpURLConnection spnego = new SpnegoHttpURLConnection("Client");

spnego.setRequestMethod("DELETE");

if(headers != null && headers.size() > 0){

headers.forEach((K,V)->spnego.setRequestProperty(K,V));

}

spnego.connect(new URL(url),bos);

in = spnego.getInputStream();

byte[] b = new byte[1024];

int len ;

while ((len = in.read(b)) > 0) {

sb.append(new String(b, 0, len));

}

}catch (Exception e){

e.printStackTrace();

}finally {

if (in != null) {

try {

in.close();

} catch (IOException e) {

e.printStackTrace();

}

}

if (bos != null) {

try {

bos.close();

} catch (IOException e) {

e.printStackTrace();

}

}

}

System.out.println("Result:" + sb.toString());

return sb.toString();

}

/**

* HttpPost请求

* @param url

* @param headers

* @param data

* @return

*/

public static String postAccess(String url, Map headers, String data)  {

StringBuilder sb = new StringBuilder();

ByteArrayOutputStream bos = new ByteArrayOutputStream();

InputStream in = null;

try {

final SpnegoHttpURLConnection spnego = new SpnegoHttpURLConnection("Client");

spnego.setRequestMethod("POST");

if(headers != null && headers.size() > 0){

headers.forEach((K,V)->spnego.setRequestProperty(K,V));

}

if(data != null){

bos.write(data.getBytes());

}

spnego.connect(new URL(url),bos);

System.out.println("Kerberos data:"+data);

System.out.println("HTTP Status Code: " + spnego.getResponseCode());

System.out.println("HTTP Status Message: "+ spnego.getResponseMessage());

in = spnego.getInputStream();

byte[] b = new byte[1024];

int len ;

while ((len = in.read(b)) > 0) {

sb.append(new String(b, 0, len));

}

}catch (Exception e){

e.printStackTrace();

}finally {

if (in != null) {

try {

in.close();

} catch (IOException e) {

e.printStackTrace();

}

}

if (bos != null) {

try {

bos.close();

} catch (IOException e) {

e.printStackTrace();

}

}

}

System.out.println("Result:" + sb.toString());

return sb.toString();

}

}

(可左右滑动)

2.Livy RESTful API调用示例代码

package com.cloudera.kerberos;

import com.cloudera.utils.KBHttpUtils;

import java.util.HashMap;

/**

* package: com.cloudera

* describe: Kerberos环境下Livy RESTful API接口调用

* creat_user: Fayson

* email: htechinfo@163.com

* creat_date: 2018/2/11

* creat_time: 上午10:50

* 公众号：Hadoop实操

*/

public class AppLivy{

private static String LIVY_HOST = "http://ip-172-31-21-83.ap-southeast-1.compute.internal:8998";

public static void main(String[] args) {

System.setProperty("java.security.krb5.conf", "/Volumes/Transcend/keytab/krb5.conf");

System.setProperty("javax.security.auth.useSubjectCredsOnly", "false");

//        System.setProperty("sun.security.krb5.debug", "true"); //Kerberos Debug模式

System.setProperty("java.security.auth.login.config", "/Volumes/Transcend/keytab/login-yarn.conf");

HashMap headers = new HashMap<>();

headers.put("Content-Type", "application/json");

headers.put("Accept", "application/json");

headers.put("X-Requested-By", "fayson");

//创建一个交互式会话

String kindJson = "{\"kind\": \"spark\", \"proxyUser\":\"fayson\"}";

//        KBHttpUtils.postAccess(LIVY_HOST + "/sessions", headers, kindJson);

//执行code

String code = "{\"code\":\"sc.parallelize(1 to 2).count()\"}";

//        KBHttpUtils.postAccess(LIVY_HOST + "/sessions/2/statements", headers, code);

//删除会话

//        KBHttpUtils.deleteAccess(LIVY_HOST + "/sessions/3", headers);

//封装提交Spark作业的JSON数据

String submitJob = "{\"className\": \"org.apache.spark.examples.SparkPi\",\"executorMemory\": \"1g\",\"args\": [200],\"file\": \"/fayson-yarn/jars/spark-examples-1.6.0-cdh5.14.0-hadoop2.6.0-cdh5.14.0.jar\"}";

//向集群提交Spark作业

KBHttpUtils.postAccess(LIVY_HOST + "/batches", headers, submitJob);

//通过提交作业返回的SessionID获取具体作业的执行状态及APPID

//        KBHttpUtils.getAccess(LIVY_HOST + "/batches/4", headers);

}

}

(可左右滑动)

4.示例代码运行

1.运行AppLivy代码，向集群提交Spark作业

d3e4b794527e05ffaf7a4c34b2cdab49.png

响应结果：

{

"id": 14,

"state": "starting",

"appId": null,

"appInfo": {

"driverLogUrl": null,

"sparkUiUrl": null

},

"log": ["stdout: ", "\nstderr: ", "\nYARN Diagnostics: "]

}

(可左右滑动)

2.获取作业运行状态，将上一步获取到的id传入到如下请求

845f3a5ce74675f1d9be0117fdf67e9f.png

响应结果：

{

"id": 14,

"state": "success",

"appId": "application_1518423607906_0006",

"appInfo": {

"driverLogUrl": null,

"sparkUiUrl": "http://ip-172-31-16-68.ap-southeast-1.compute.internal:8088/proxy/application_1518423607906_0006/"

},

"log": ["\t ApplicationMaster RPC port: -1", "\t queue: root.users.fayson", "\t start time: 1518428233280", "\t final status: UNDEFINED", "\t tracking URL: http://ip-172-31-16-68.ap-southeast-1.compute.internal:8088/proxy/application_1518423607906_0006/", "\t user: fayson", "18/02/12 04:37:13 INFO util.ShutdownHookManager: Shutdown hook called", "18/02/12 04:37:13 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-6a934286-5db7-4c6a-aa72-eefc294086a4", "\nstderr: ", "\nYARN Diagnostics: "]

}

(可左右滑动)

通过如上返回的结果，我们可以看到作业的APPID。

3.通过CM和Yarn的8088界面查看作业执行结果

CM上Yarn的应用程序界面显示

f91d1d277812d292171167391acaa809.png

Yarn的8088界面显示

ca8d3b2af02b03591eaf622982b469c9.png

Spark的History界面显示

171a61e74a2af2c72846af20c334f576.png

显示作业运行成功

5.总结

在Java 访问Kerberos环境的Livy API接口时需要在代码中加载krb5.conf、login-yran.conf配置文件到环境变量中，实现fayosn@FAYSON.COM用户登录

访问Kerberos环境下的RESTfulAPI接口需要使用HttpClient提供的spnego方式访问，这里Fayson使用第三方封装好的spnego包

GitHub地址：

https://github.com/fayson/cdhproject/blob/master/livydemo/src/main/java/com/cloudera/utils/KBHttpUtils.java

https://github.com/fayson/cdhproject/blob/master/livydemo/src/main/java/com/cloudera/kerberos/AppLivy.java

提示：代码块部分可以左右滑动查看噢

为天地立心，为生民立命，为往圣继绝学，为万世开太平。

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

57cac7d5e1b0e31c34697a3722603595.gif

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操

十三周
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
livy使用样例_黑猴子的家：利用 livy 远程提交 spark作业
weixin_29972373的博客
12-24 827
livy是cloudera开发的通过REST来连接。管理spark的解决方案，此文记录在使用livy中遇到的一些问题1、livy的下载livy安装不多赘述，可以从github上自己build，也可以直接从livy.io上直接下载tar包。下载 地址 ：http://livy.io/quickstart.html下载之后，解压即可运行2、解压livy后，在livy-env.sh中添加export S...
大数据学习（七）Python3操作livy（使用pylivy模块）
技术宅拯救世界
05-27 1721
Livy是一个用于与Spark交互的开源REST接口。pylivy是Livy的Python客户端，可以在Spark集群上轻松实现远程代码执行。 安装 $ pip install -U livy 请注意，pylivy需要Python 3.6或更高版本。 用法 所述LivySession类的主界面提供由pylivy： from livy import LivySession ...
86.通过Livy的RESTful API接口向CDH集群提交作业
大勇若怯任卷舒
12-31 901
86.1 演示环境介绍 Livy版本为：0.4 CM和CDH版本为：5.13.1 集群未启用Kerberos 86.2 操作演示 将作业运行的jar包上传到HDFS目录 使用Maven创建Livy示例工程 pom文件中添加如下依赖 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId>
探索Livy：无缝对接Apache Spark的REST接口
最新发布
gitblog_00029的博客
05-15 364
探索Livy：无缝对接Apache Spark的REST接口 项目地址:https://gitcode.com/cloudera/livy 项目简介 欢迎来到Livy，一个开放源码的REST接口，它使您能够从任何地方与Apache Spark进行交互。无论您的Spark环境是本地运行还是在Apache Hadoop YARN上，Livy都能提供服务。它的主要功能包括： 支持Scala、Pytho...
最全livy代码实战
nengm1988的博客
02-11 553
Apache Livy提供Rest service来与Apache Spark进行交互，通过Rest interface或RPC client来简化spark job和spark code snippet的提交，同步或异步获取结果，并提供对spark context的管理。
SPNEGO设置
net_wolf的专栏
01-09 1021
花了点时间在JBOSS,TOMCAT,WEBSPHERE上应用了SPNEGO open source project,有几点要注意的地方 1)tomcat下面的login.conf的正确格式如下: spnego-client { com.sun.security.auth.module.Krb5LoginModule required; }; spnego-server { c
spark_livy_java_rest_api:在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业
04-16
在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业 mvn exec：java -Dexec.mainClass =“ o9.sparklivy.poc.SparkYarnRestClient” mvn clean编译程序集：单个 java -cp target / spark_livy_api-1.0-...
livy-0.7.1-incubating-bin-cdh6.2.1.zip
11-20
通过向Livy的服务端点发送POST请求，你可以提交Spark代码或脚本，获取作业状态和结果。 **安全性与监控：** 在CDH环境中，Livy可以集成Kerberos进行安全认证，确保只有授权的用户和服务能够访问。同时，Livy的日志...
atom-livy:用于使用Apache Livy Web API的Atom软件包
05-16
用于使用Apache Livy Web API的Atom软件包 特征 直接从Atom编辑器执行语句 通过分成一些块分别执行语句 列出/列出多个会话 列出/切换多个Livy端点 用法 安装 $ apm install atom-livy 或在GUI软件包管理器中键入“ ...
griffin集成Livy kerberos.docx
07-01
2. 配置Kerberos相关参数，允许Livy服务通过Kerberos与Yarn交互，以及客户端通过Kerberos访问Livy： - Livy服务启动的keytab和principal：`livy.server.launch.kerberos.keytab` 和 `livy.server.launch.kerberos....
apache-livy-0.7.1-incubating-bin.zip
12-09
在使用Livy时，你可以通过发送HTTP POST请求到Livy的REST接口来提交Spark作业。例如，对于Python的Pandas DataFrame，可以将代码序列化为JSON，然后提交给Livy。Livy会返回一个Session ID，你可以用这个ID来查询作业...
Livy - 基于Apache Spark之上的REST服务
03-30
Livy是构建于Apache Spark之上的REST服务，它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较
Hadoop Yarn REST API未授权漏洞利用挖矿分析
专注于后端开发，时常接触大数据 、人工智能等
01-22 2033
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 一、背景情况 5月5日腾讯云安全曾针对攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击，攻击者可以在未授权的情况下远程执行代码的安全问题进行预警，在预警的前后我们曾多次捕获相关的攻击案例，其中就包含利用该问题进行挖矿，我们针对其中一个案例进行分析并提供响应的安全建议和解决方案。 二、 漏洞说明 ...
livy java API解读
星翔宇尘的博客
03-22 3156
Interface Job&lt;T&gt; extends Serializable :用于Spark远程（remote）作业的接口方法详情： T call(JobContext jc)Interface JobContext :保存一个job执行时的信息，这个类的水利保存在host远程Spark Context的节点上并且通过RemoteSparkContext#submit()提交执行的jo...
livy部署及应用
lehsyh的专栏
05-09 999
Livy把spark交互式和批处理都搬到了web上，提供restful接口，Livy一方面接收并解析客户端提交的REST请求，转换成相应的操作，另一方面它管理着客户端所启动的spark集群Livy会为用户运行多个session，每个session就是一个常驻的spark context也可以成为一个spark集群。用户通过restful接口在对应的spark context执行代码，Livy服务端通过RPC协议与Spark集群进行通信。
#Livy配置Kerberos,#调用Hadoop组件,#Java 实现Livy大数据调用,#java拉取hive数据同步到本地
SirHongGe的博客
04-28 958
#Livy配置Kerberos,#调用Hadoop组件,#Java 实现Livy大数据调用,#java拉取hive数据同步到本地
Spark Livy 指南及livy部署访问实践
pop_xiaohao的专栏
05-05 3463
背景： Apache Spark 是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark作业提交到集群上去执行；二是批处理，通过spark-submit 提交打包好的spark 应用jar到集群中进行执行。 这两种运行方式都需要安装spark客户端配置好yarn集群信息，并打通集群网络访问权限，这种方式存在增加client所在节点资源使用负担和故障发生的可能性，同时client节点
93.Livy向Kerberos环境的CDH集群提交作业
大勇若怯任卷舒
01-14 286
93.1 演示环境介绍 集群未启用Kerberos CM和CDH版本：5.13.1 Livy版本：0.4 93.2 操作演示 将作业运行的jar包上传到HDFS目录 准备访问集群的keytab及集群的krb5.conf文件 krb5.conf配置文件，获取方式：文件在CDH集群中将KDC服务器上的/etc/目录 # Configuration snippets may be placed in this directory as well includedir /etc/krb5.conf.d
android之HttpURLConnection
李光正的专栏
03-21 2859
1.HttpURLConnection连接URL 1)创建一个URL对象 URL url = new URL(http://www.baidu.com); 2)利用HttpURLConnection对象从网络中获取网页数据 HttpURLConnection conn = (HttpURLConnection) url.openConnection(); 3)设置连接超时 conn.s
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值