大数据学习（七）Python3操作livy（使用pylivy模块）

最新推荐文章于 2023-05-09 20:16:50 发布
最新推荐文章于 2023-05-09 20:16:50 发布
阅读量1.7k 收藏 2
点赞数
分类专栏： 大数据 文章标签： 大数据 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liao392781/article/details/90602395
版权
本文介绍了如何使用Python3的pylivy模块与Livy进行交互，Livy是一个Spark集群的REST接口。内容包括安装步骤、基本用法以及详细解释了livy.session接口的功能。
摘要由CSDN通过智能技术生成

Livy是一个用于与Spark交互的开源REST接口。pylivy是Livy的Python客户端，可以在Spark集群上轻松实现远程代码执行。

安装

$ pip install -U livy

请注意，pylivy需要Python 3.6或更高版本。

 

用法

所述LivySession类的主界面提供由pylivy：

from
最低0.47元/天 解锁文章
猪笨是念来过倒
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
livy使用样例_如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业
weixin_32558567的博客
02-01 722
package com.cloudera.utils;import net.sourceforge.spnego.SpnegoHttpURLConnection;import java.io.ByteArrayOutputStream;import java.io.IOException;import java.io.InputStream;import java.net.URL;import j...
pylivy:Apache Livy的Python客户端，支持使用远程Apache Spark集群
05-25
pylivy 是一个用于与交互的开源REST接口。 pylivy是Livy的Python客户端，可在Spark集群上轻松执行远程代码。 安装 $ pip install -U livy 请注意， pylivy需要Python 3.6或更高版本。 文献资料 有关pylivy文档， pylivy访问 。 贡献 欢迎扩展或改善pylivy贡献！ 请查看以获取更多信息。
python操作livy：将python环境作为archives包传递给spark
euler1983的专栏
03-08 2649
通过livy可以用rest api的方式调用pyspark的程序。 在hadoop-master里可以用curl来测试，然后在8988界面里查看状态。 摸索了几次后，终于调通： pyspark需要的python环境包可以通过archives的方式传进去，并在conf里指定python的路径： curl -X POST --data '{"file": "hdfs:///test_code/pi_v1.py","args":["2"],"archives":["hdfs:///test_model/
livy使用样例_使用 Livy Spark 向 Azure HDInsight 上的 Spark 群集提交作业 | Microsoft Docs...
weixin_34284072的博客
12-24 279
您现在访问的是微软AZURE全球版技术文档网站，若需要访问由世纪互联运营的MICROSOFT AZURE中国区技术文档网站，请访问 https://docs.azure.cn.使用 Apache Spark REST API 将远程作业提交到 HDInsight Spark 群集Use Apache Spark REST API to submit remote jobs to an HDInsi...
大数据学习（四）：Livy的安装配置及pyspark的会话执行
技术宅拯救世界
05-21 1771
一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。它提供了以下这些基本功能： 提交Scala、Python或是R代码片段到远端的Spark集群上执行； 提交Java、Scala、Python所编写的Spark作业到远端的Spark集群上执行； 提交批处理应用在集群中运行。 从Livy所提供的基本功能可以看到Livy涵...
大数据学习（五）：如何使用 Livy提交spark批量任务
技术宅拯救世界
05-21 6683
Livy是一个开源的REST 接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。 Livy封装了spark-submit并支持远端执行。 启动服务器 执行以下命令，启动livy服务器。 ./bin/livy-server 这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。如果是本地开发模式的话，直接使用本地文件即可（注意必须配置liv...
Python库 | airflow_livy_operators-0.3-py3-none-any.whl
05-27
资源分类：Python库 所属语言：Python 使用前提：需要解压 资源全名：airflow_livy_operators-0.3-py3-none-any.whl 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
livy使用样例_livy提交spark应用
weixin_29015051的博客
01-14 891
spark-submit的使用shell时时灵活性较低，livy作为spark提交的一种工具，是使用接口或者java客户端的方式提交，可以集成到web应用中1.客户端提交的方式核心代码LivyClient client = new LivyClientBuilder().setURI(new URI(livyUrl)).build();try {System.err.printf("Uploadi...
livy-0.4.0 部署版免编译
12-07
livy-0.4.0 部署版免编译 livy-0.4.0 部署版免编译livy-0.4.0 部署版免编译
livy部署及应用
最新发布
lehsyh的专栏
05-09 1015
Livy把spark交互式和批处理都搬到了web上，提供restful接口，Livy一方面接收并解析客户端提交的REST请求，转换成相应的操作，另一方面它管理着客户端所启动的spark集群Livy会为用户运行多个session，每个session就是一个常驻的spark context也可以成为一个spark集群。用户通过restful接口在对应的spark context执行代码，Livy服务端通过RPC协议与Spark集群进行通信。
Livy安装使用
baidu_27503999的博客
01-29 3315
spark任务submit，livy配置
Livy原理详解
weixin_30721899的博客
02-12 513
概述 当前spark上的管控平台有spark job server，zeppelin，由于spark job server和zeppelin都存在一些缺陷，比如spark job server不支持提交sql，zeppelin不支持jar包方式提交，并且它们都不支持yarn cluster模式，只能以client的模式运行，这会严重影响扩展性。针对这些问题，cloudera研发了Livy，L...
Docker学习（六）：Docker Compose和Docker Stack区别
技术宅拯救世界
05-29 5531
作者：water_lang 链接：https://www.jianshu.com/p/05be80475bff 在最近的发布版本中，Docker圈发生了一些事情。 Swarm模式已经在1.12中集成到Docker Engine中，并给我们带来了几个新工具。 其中，我们可以在不安装Docker Compose的情况下，可以使用docker-compose.yml文件来提供堆栈的Docker容器。 ...
livy使用样例_黑猴子的家：利用 livy 远程提交 spark作业
weixin_29972373的博客
12-24 830
livy是cloudera开发的通过REST来连接。管理spark的解决方案，此文记录在使用livy中遇到的一些问题1、livy的下载livy安装不多赘述，可以从github上自己build，也可以直接从livy.io上直接下载tar包。下载 地址 ：http://livy.io/quickstart.html下载之后，解压即可运行2、解压livy后，在livy-env.sh中添加export S...
【大数据】Spark开源REST服务--Apache Livy的安装和使用
如切如磋，如琢如磨，臻于至善。
03-27 1015
Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库
livy安装与部署
留不住斜阳的博客
08-16 3126
livy安装部署有两种方式：直接下载Apache社区编译好的zip包安装部署，或者下载源码进行编译安装；本文采用Apache社区编译好的zip进行安装部署。 前提： 已经安装部署好CDH集群，版本为5.14.0 将livy安装包解压到/opt/cloudera目录下 [root@cdh001 ~]# ls /opt/cloudera/ apache-livy-0.7.0-incubating-bin csd parcel-cache parcel-repo parcels 创建livy用户、
Python批量重命名iPhone、微信照片,视频-按照拍摄时间重命名
wangli_010的专栏
10-19 2208
Python批量重命名iPhone、微信照片,视频-按照拍摄时间重命名
Apache Livy学习
04-07
它提供了一个统一的REST接口，可以在不同的客户端（例如Python、Java、Scala）中使用，从而简化了用户与Spark之间的交互。Livy还提供了一些有用的功能，例如作业监控和故障恢复。 Livy的安装和配置比较简单，可以在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猪笨是念来过倒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值