在云原生环境下，深入探讨和操作Apache Livy on Kubernetes

最新推荐文章于 2025-06-11 23:06:12 发布

ZpRust

最新推荐文章于 2025-06-11 23:06:12 发布

阅读量127

点赞数

文章标签：云原生 apache kubernetes

本文链接：https://blog.csdn.net/ZpRust/article/details/133656806

版权

云原生专栏收录该内容

79 篇文章 ¥59.90 ¥99.00

订阅专栏

本文详述如何在云原生环境中部署和操作Apache Livy on Kubernetes，通过设置Kubernetes集群、安装Helm、添加仓库、安装Livy、访问服务以及提交Spark作业的步骤，展示了在Kubernetes上利用Livy进行大数据处理的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Apache Livy是一个开源的Apache项目，旨在为大数据处理框架（如Apache Spark）提供REST接口，从而方便用户通过Web界面或API提交和管理作业。而Kubernetes（简称K8s）是一个流行的容器编排和管理平台，被广泛应用于云原生环境中。

本文将详细介绍如何在云原生环境下部署和操作Apache Livy on Kubernetes。我们将展示如何设置Kubernetes集群，并使用Helm进行Livy的安装和配置。

步骤1：设置Kubernetes集群

首先，您需要设置一个Kubernetes集群。您可以选择使用自己喜欢的云服务提供商（如AWS、GCP或Azure）或使用本地集群（如Minikube或Kind）。确保您已经安装并配置好Kubernetes集群，并且可以通过kubectl命令与集群进行交互。

步骤2：安装Helm

Helm是Kubernetes的包管理工具，它允许您轻松地部署和管理应用程序。在安装Livy之前，我们需要安装Helm。您可以从Helm官方网站下载并安装适用于您的操作系统的Helm客户端。

安装完成后，通过运行以下命令来验证Helm是否正确安装：

helm ve

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ZpRust

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

订阅专栏

Spark开源REST服务——Apache Livy（Spark 客户端）

匠人精神，持之以恒！

08-14

3911

Livy是一个提供Rest接口和spark集群交互的服务。它可以提交Spark Job或者Spark一段代码,同步或者异步的返回结果;也提供Sparkcontext的管理,通过Restful接口或RPC客户端库。Livy也简化了与Spark与应用服务的交互,这允许通过web/mobile与Spark的使用交互。其他特点还包含:...

融合7大领域！Apache Flink 在开源生态下的应用实践

Ververica的博客

12-06

729

大数据从诞生到蓬勃发展已有十余年之久，在这个过程中，大数据生态的计算引擎、存储、调度、容器、分析等子系统也都有了长足的发展。Apache Flink 作为业界领先的开源大数据计算引擎，以...

参与评论您还未登录，请先登录后发表或查看评论

如何在 K8s 上运行 Spark & Hive？

LinkTime_Cloud的博客

04-12

2921

引言随着 Kubernetes 越来越成熟，使用者越来越多，大数据应用上云的需求也越来越迫切。原有的大数据资源管理器 Yarn 很难做到所有应用资源统一控制，完全隔离，带来的主机应用和大数据计算应用互相抢占资源，由此导致的计算任务时间可能经常性抖动，多租户应用互相影响。而在 Kubernetes 上，此类问题天然解决。所有的应用都以 Pod 形式在 Kubernetes...

大数据技术深度实践

GitChat

04-12

5106

内容简介随着技术迭代的不断加速，大数据极大改变了行业领域对信息流动的限制。本期我们聚焦2017年领域内热门技术与应用实践，带领大家深度解析大数据技术难点和发展趋势。厉兵秣马今点将，群雄逐鹿正当时。...

大数据与AI的16个实践分享

Datawhale

12-15

8853

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale活动主办方：DataFun，指导单位：北京智源研究院文章作者：Hoh...

atom-livy:用于使用Apache Livy Web API的Atom软件包

05-16

用于使用Apache Livy Web API的Atom软件包特征直接从Atom编辑器执行语句通过分成一些块分别执行语句列出/列出多个会话列出/切换多个Livy端点用法安装 $ apm install atom-livy 或在GUI软件包管理器中键入“ ...

incubator-livy:Apache livy的镜像（正在孵化）

05-14

阿帕奇·利维（Apache Livy） Apache Livy是一个开放源代码的REST接口，用于从任何地方与进行交互。它支持在本地运行或在中运行的Spark上下文中执行代码片段或程序片段。交互式Scala，Python和R Shell 使用...

apache-livy-0.7.1-incubating-bin.zip

12-09

然而，原生Spark API虽然功能强大，但在远程管理和监控Spark作业时并不方便，这就是Livy应运而生的原因。Livy提供了RESTful API，允许开发者使用任何支持HTTP的编程语言来与Spark集群交互，极大地扩展了Spark的使用...

Apache Livy版本调研

手提青灯觅佳人的博客

03-18

713

Apache Livy版本调研 0.7.0/2020-02-02 Livy 0.7.0现在需要Java 8，Scala 2.11和Spark> = 2.2.0。从0.7.0开始，JDBC / ODBC功能现在变为GA。添加了对所有当前版本的Spark（2.2.x至2.4.x）的支持。 [ LIVY-575 ]与Hive兼容的JDBC / ODBC服务器GA。 [ LIVY-678 ]添加了对REST和JDBC接口的LDAP授权支持。 0.6.0/2019-04-04 Livy 0.6.0现在

华为云学堂-云原生开发者认证课程列表

qq_32205577的博客

06-06

607

华为云学堂-云原生认证云原生开发者认证的前5个课程

云原生安全实践：CI/CD流水线集成DAST工具

最新发布

like21a的博客

06-11

943

通过将 DAST 集成到 CI/CD 流水线，企业可以实现“安全左移”，在开发早期发现并修复漏洞，降低修复成本。结合 SAST、SCA 等工具，并遵循最佳实践，可构建高效、安全的云原生应用交付体系。🚧 您已阅读完全文99%！缺少1%的关键操作：加入「炎码燃料仓」🚀 获得：√ 开源工具红黑榜√ 项目落地避坑指南√ 每周BUG修复进度+1%彩蛋（温馨提示：本工坊不打灰工，只烧脑洞🔥）

云原生核心技术 (2/12): Docker 入门指南——什么是容器？为什么它比虚拟机更香？

程序员阿超的博客

06-10

646

本文是云原生核心技术系列的第二篇，旨在为初学者铺平通往容器世界的大道。我们将深入浅出地剖析 Docker 的三大核心概念：镜像 (Image)、容器 (Container) 和仓库 (Repository)。通过生动的比喻和架构对比，你将清晰地理解为什么容器技术相比传统虚拟机（VM）更轻量、更高效。最后，我们会手把手指导你在不同操作系统上完成 Docker 的安装，并通过运行经典的 `hello-world` 来验证你的第一个容器环境，为你后续的实战之旅打下坚实基础。

云原生核心技术 (6/12): K8s 从零到一：使用 Minikube/kind 在本地搭建你的第一个 K8s 集群

程序员阿超的博客

06-10

672

本文是一篇保姆级的实践指南，旨在解决学习 Kubernetes (K8s) 时“环境搭建难”的头号痛点。我们将对比分析 Minikube、kind、K3s 和 Docker Desktop Kubernetes 等主流本地 K8s 环境方案的优缺点，帮助你选择最适合自己的工具。随后，文章将提供详细的分步教程，手把手带你使用 Minikube 和 kind (Kubernetes in Docker) 这两种最流行的方式，在自己的 Windows、macOS 或 Linux 电脑上，快速搭建起一个功能完备的单

从物理机到云原生：全面解析计算虚拟化技术的演进与应用

Solidao的博客

06-09

1178

docker 虚拟机双系统的比对与变迁

【云原生】阿里云SLS日志自定义字段标签实现日志告警

CN_Eden

06-11

171

样例：一个典型的java log初始化日志格式把日志中的INFO提取出来做为一个标签，在开源日志框架中，配置采集器实现- regex:在阿里云SLS日志服务同样可以实现，首先我们进入到一个日志库，查看数据接入，我这里使用的是Logtail工具在【处理配置】中，选择【处理插件组合】，新增提取字段插件原始字段：填写要被提取的日志，对应原始字段的内容做正则结果字段：正则表达式对应的捕获组对应结果：捕获组匹配内容说明1 ywgy-app-service 服务名称。

云原生核心技术 (4/12): Docker 进阶：镜像优化实战与 Docker Compose 揭秘

程序员阿超的博客

06-10

845

在本篇进阶教程中，我们将直面 Docker 镜像体积过大的普遍痛点，并学习两大核心优化策略：选择更小的基础镜像和使用多阶段构建 (Multi-stage builds)。通过一个真实的 Go 语言 Web 应用案例，你将亲眼见证如何将一个数百MB的镜像优化到不足10MB。接着，我们将揭秘 Docker Compose，一个能通过简单的 YAML 文件定义和管理多容器应用的编排利器。你将学会编写 docker-compose.yml 文件，实现一键启动、管理和连接一个包含 Web 应用和 Redis 缓存的复

容器安全最佳实践：云原生环境下的零信任架构实施

TechVision大咖圈聚合全球科技大咖，洞察AI、云计算、大数据等前沿趋势，为企业决策者提供智见未来的转型路径。

06-07

1393

随着容器技术和云原生架构的快速发展，传统的网络边界防护模式已经无法满足现代应用架构的安全需求。容器的短生命周期、动态伸缩特性以及微服务架构的复杂交互关系，为安全防护带来了前所未有的挑战。

网传西门子12亿美元收购云原生工业软件，云化PLM系统转机在协同

「 CRDE智橙PLM」，让企业用得起，让团队用得起来。

06-11

874

智橙云PLM作为国内领先的云原生SaaS化的PLM系统+云CAD系统，聚合国内外多品牌CAD资源，提供零部件管理、图文档管理、BOM管理、流程管理、编码管理、3D模型评审、标准件库、项目管理等功能，为企业和研发团队提供全面（ALL IN ONE）的研发解决方案。收购FlexFact将帮助西门子完善工业软件生态，布局其在云端工业软件市场的竞争格局，增强西门子在智能制造领域的竞争力，无疑将会是一次有益尝试，对包括CAD、MES、PLM在内的各个工业软件领域均将带来一场”云“化变革！

深入解析 Nacos MCP Router：云原生时代的 MCP 服务调度中枢

weixin_41544125的博客

06-10

1000

Nacos MCP Router 本质上是一个符合 MCP 规范的标准 Server智能路由层：提供 MCP Client 的服务发现能力，支持基于元数据（如版本、地域）的动态路由。协议适配层：屏蔽 Stdio、SSE、Streamable HTTP 等协议差异，实现异构协议的无缝转换。生态集成层：与 Nacos MCP Registry 深度整合，实现 MCP Server/Tool 的注册、发现、版本管理全链路闭环。典型应用：实时日志推送、交互式问答系统。部署要点配置示例（Cursor AI）

Apache Livy安装和在java中使用

04-07

Apache Livy是一个开源项目，它提供了一种RESTful接口，用于在Apache Spark集群上运行交互式和批处理作业。这个接口使得在Java或其他编程语言中使用Spark变得更加简单和方便。安装 1. 安装Java和Scala Livy需要Java 8或更高版本和Scala 2.11.x或2.12.x。您可以从官方网站下载Java和Scala，也可以使用包管理器进行安装。 2. 下载和编译Livy源代码您可以从Apache Livy的官方网站https://livy.apache.org/download/下载最新版本的源代码。下载后，解压缩文件并使用以下命令编译： ``` $ mvn clean package -DskipTests ``` 3. 配置Livy 在编译完成后，将生成一个目录livy-0.7.1-incubating-bin。在该目录中，找到conf目录并编辑livy.conf文件。在该文件中，您需要配置以下参数： ``` livy.server.port = 8998 livy.file.local-dir-whitelist = /tmp livy.spark.master = spark://<spark-master>:7077 ``` 其中，livy.server.port是Livy服务器的端口号，livy.file.local-dir-whitelist是本地目录的白名单，livy.spark.master是Spark master的URL。 4. 启动Livy 在配置完成后，使用以下命令启动Livy： ``` $ bin/livy-server ``` 在启动完成后，您可以使用http://localhost:8998/访问Livy的RESTful API。使用在Java中使用Livy，您需要使用Livy的Java客户端库。您可以在Maven中添加以下依赖项： ```xml <dependency> <groupId>org.apache.livy</groupId> <artifactId>livy-client-common</artifactId> <version>0.7.1-incubating</version> </dependency> <dependency> <groupId>org.apache.livy</groupId> <artifactId>livy-client-spark_2.11</artifactId> <version>0.7.1-incubating</version> </dependency> ``` 1. 创建LivyClient对象使用以下代码创建一个LivyClient对象： ```java LivyClient client = new LivyClientBuilder() .setURI(new URI("http://localhost:8998")) .build(); ``` 其中，URI参数是Livy服务器的URL。 2. 提交Spark作业使用以下代码提交一个Spark作业： ```java JavaSparkContext spark = new JavaSparkContext("spark://<spark-master>:7077", "MyApp"); List<Integer> data = Arrays.asList(1, 2, 3, 4, 5); JavaRDD<Integer> distData = spark.parallelize(data); int result = distData.reduce((a, b) -> a + b); ``` 其中，spark参数是Spark master的URL，data是一个包含整数的列表，distData是一个JavaRDD对象，result是reduce操作的结果。使用以下代码将作业提交到Livy服务器： ```java JobHandle<Integer> handle = client.submit(new JavaSparkJob<>(MyApp.class.getName(), result)); ``` 其中，JavaSparkJob是一个用于包装Spark作业的类，MyApp是您的Spark作业的类名，result是作业的结果。 3. 获取作业结果使用以下代码获取作业的结果： ```java int result = handle.get(); ``` 其中，handle是提交作业后返回的JobHandle对象，result是作业的结果。 4. 关闭LivyClient对象使用以下代码关闭LivyClient对象： ```java client.stop(true); ``` 其中，true参数表示在关闭之前等待所有作业完成。