spark livy

最新推荐文章于 2023-03-27 13:30:09 发布
最新推荐文章于 2023-03-27 13:30:09 发布
阅读量2.2k 收藏 1
点赞数
分类专栏： bigdata 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/terrorblade1235/article/details/76685666
版权
本文介绍了Livy这一通过REST接口管理Spark的工具，详细讲述了Livy的安装过程，如何创建和管理Spark Shell会话，以及在批处理模式下与spark-submit的对比。在使用过程中，Livy在Spark应用kill后可能存在的状态问题和解决策略也被提及。此外，还讨论了在YARN模式下Livy配置和执行jar包的注意事项。
摘要由CSDN通过智能技术生成

livy是cloudera开发的通过REST来连接。管理spark的解决方案，此文记录在使用livy中遇到的一些问题。

livy的安装

  • livy安装不多赘述，可以从github上自己build，也可以直接从livy.io上直接下载tar包。
  • 下载livy，解压后，在livy-env中添加
export SPARK_HOME=/home/cax/spark/spark-1.6.1-bin-hadoop2.6
export HADOOP_CONF_DIR=/etc/hadoop/conf
  • 在livy.conf中可以进行一些配置
//默认使用hiveContext
livy.repl.enableHiveContext = true
//开启用户代理
livy.impersonation.enabled = true
//设置session空闲过期时间
livy.server.session.timeout = 1h
livy.server.session.factory = yarn/local本地模式或者yarn模式
最低0.47元/天 解锁文章
terrorblade1235
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Livy - 基于Apache Spark之上的REST服务
03-30
Livy是构建于Apache Spark之上的REST服务，它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较
浅谈Spark Livy
猪猪
03-08 4876
Spark Livy 什么是Livy Livy的特点 Livy的运作流程阐述 Livy的安装、启动、访问 Livy的使用 1. 什么是Livy livy是cloudera开发的通过REST来连接、管理spark的解决方案。 涉及到一些角色： ①客户端：browser,app终端设备 ②Livy Server ③Livy Server获得用户的请求后，让后将job提交给spark 集群去执行。 ...
spark livy session使用一
文报的博客
12-03 1244
python调用livy session restfulAPI demo: import json import re import sys import textwrap import time import requests def extract_table_name_from_sql(sql_str): # remove the /* */ comments q = re.sub(r"/\*[^*]*\*+(?:[^*/][^*]*\*+)*/", "", sql_str)
Spark开源REST服务——Apache Livy（Spark 客户端）
匠人精神，持之以恒！
08-14 3374
Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库。Livy也简化了与Spark与应用服务的交互,这允许通过web/mobile与Spark的使用交互。其他特点还包含:...
Livy : A REST Interface for Apache Spark
liaodaoluyun的博客
11-08 851
官网：http://livy.incubator.apache.org/ Github：https://github.com/apache/incubator-livy 概述：     当前spark上的管控平台有spark job server，zeppelin，由于spark job server和zeppelin都存在一些缺陷，比如spark job server不支持提交sql，ze...
apache-livy-0.7.1-incubating-bin.zip
12-09
Apache Livy是Apache Spark生态系统中的一个重要组件，它是一款开源的REST接口服务，用于交互式地与Spark集群进行通信。Livy使得远程提交Spark作业、监控作业状态以及获取结果变得非常简单，极大地增强了Spark的可...
spark-2.0.1集群安装及编写例子提交任务
11-11
Spark是Apache Hadoop生态系统中的一个快速、通用且可扩展的大数据处理框架，它在大数据处理领域扮演着重要的角色。本文将详细介绍如何在集群环境中安装Spark 2.0.1，并提供编写Spark应用程序的实例以及如何将任务...
incubator-livy:Apache livy的镜像（正在孵化）
05-14
它支持在本地运行或在中运行的Spark上下文中执行代码片段或程序片段。 交互式Scala，Python和R Shell 使用Scala，Java，Python批量提交 多个用户可以共享同一台服务器（模拟支持） 可用于通过REST从任何地方提交...
livy-server-0.3.0.zip
06-22
Livy是Apache Spark生态系统中的一个开源交互式服务，它提供了RESTful接口，使得与Spark集群进行交互变得更加简单。"livy-server-0.3.0.zip"是一个包含Livy服务器0.3.0版本的压缩包，用于部署和运行这个服务。 在...
spark系列-应用篇之通过livy提交Spark任务
热门推荐
马各马它
08-24 1万+
前言 上一篇使用yarn api的提交spark任务比较麻烦， 这次我们使用livy来提交spark任务。livy的使用十分简单，功能上比yarn api还要强大，支持提交spark代码片断，session共享 安装 下载livy0.5.0，下载完成后进行解压。 配置conf/livy.conf文件，设置livy.spark.master = yarn。其他的配置项目，可以根据你的需要来配...
Spark Livy 指南及livy部署访问实践
pop_xiaohao的专栏
05-05 3497
背景： Apache Spark 是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark作业提交到集群上去执行；二是批处理，通过spark-submit 提交打包好的spark 应用jar到集群中进行执行。 这两种运行方式都需要安装spark客户端配置好yarn集群信息，并打通集群网络访问权限，这种方式存在增加client所在节点资源使用负担和故障发生的可能性，同时client节点
Livy设置Session生命周期
Why Do You Run
09-03 2655
为什么要更改Livy的Session生命周期？ 使用LivyREST接口提交SparkJob时，任务执行成功后，过段时间Session和Job or Bathes的ID则会被清空，导致Spark任务的执行结果可能会查询不到，所以需要更改一下Livy的生命周期。 首先如果是在CDH环境下，则只需要在Livy的WebUI界面更新一下配置文件。 添加livy.server.session.timeout...
Spark,Livy,ES,Griffin单机版安装
m0_37135879的博客
02-04 480
一.Spark安装 有二进制包,不用编译 tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz 设置环境变量 export SPARK_HOME=/opt/lagou/servers/spark-2.2.1 export PATH=$PATH:$SPARK_HOME/bin 修改配置文件 /opt/lagou/servers/spark-2.2.1/conf/spark-defaults.conf 增加如下配置 spark.master yarn
使用common-pool2实现livy session管理
beiduofen2011的专栏
11-03 379
为什么要做livy session管理 1、 创建的livy session时间过长，用户体验差 2、创建的livy session占用的资源较大，当创建会话并发量大的时候，spark集群承受的压力会 很大 common-pool2简介 common-pool2是apache基金会的一个开源对象池组件，我们常用的数据库连接池dpcp和redis的java客户端jedis都使用commons-pool来管理连接 其中有三个角色： 1、PooledOb...
黑猴子的家：利用 livy 远程提交 spark作业
黑猴子的博客
09-14 1381
livy是cloudera开发的通过REST来连接。管理spark的解决方案，此文记录在使用livy中遇到的一些问题 1、livy的下载 livy安装不多赘述，可以从github上自己build，也可以直接从livy.io上直接下载tar包。 下载 地址 ：http://livy.io/quickstart.html 下载之后，解压即可运行 2、解压livy后，在livy-env.sh中添加...
livy部署和使用
beiduofen2011的专栏
11-03 2182
部署 使用版本：apache-livy-0.7.1 环境：spark(配置中已添加hive-site.xml) , hive ,hadoop(hdfs+yarn) 基于centos livy只需要配置两个文件(livy-env.sh,livy.conf)： livy-env.sh 中添加环境变量配置 export JAVA_HOME=/usr/local/jdk/jdk1.8.0_141 export HADOOP_HOME=/usr/local/jdk/azkabanWebServe...
【大数据】Spark开源REST服务--Apache Livy的安装和使用
最新发布
如切如磋，如琢如磨，臻于至善。
03-27 1010
Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库
记一次HDFS Delegation Token失效问题（续）
迹_Jason
01-22 943
在上篇讲到了，HDFS Delegation Token 问题的解决方法是 Spark-Submit 方式可以进行解决，经过了一段时间的反思和查看 Livy 和 Spark-Submit 两者日志之后，有了一点新发现，并且测试认证了，该方式是可行的，那么是怎么实现的呢？ 上篇传输门：地址 上文我有提到 livy spengo 是通过代理的方式实现 Kerberos 的认证的，当使用类似于 Sp...
114.Livy配置
大勇若怯任卷舒
08-11 562
代码】114.Livy配置。
Apache Spark上的Livy：RESTful服务详解
"Livy是Apache Spark的一个开源REST服务，它为Spark提供了安全、高可用和灵活的REST API，用户可以通过这些API以交互式、批处理或编程方式与Spark集群进行交互。Livy旨在解决直接在网关节点上提交Spark应用时所遇到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值