Zepplin如何下载第三方依赖包？

最新推荐文章于 2023-07-19 00:57:45 发布
最新推荐文章于 2023-07-19 00:57:45 发布
阅读量328 收藏
点赞数
分类专栏： 大数据 文章标签： flink zeppelin集成
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/109444711
版权
本文探讨Zepplin如何通过flink.execution.packages参数下载和管理依赖包。详细解析源码，指出该参数在FlinkScalaInterpreter中的使用，并解释了DependencyUtils.resolveMavenDependencies方法的工作原理，说明了依赖包的本地缓存路径设置，涉及ivy工具的使用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在Zepplin中，有个参数flink.execution.packages。它可以像maven一样下载依赖包以及依赖包的相关依赖。那到底是怎么实现的呢？接下来我们看看源码。

通过阅读源码，可以知道flink.execution.packages是在FlinkScalaInterpreter.getUserJarsExceptUdfJars中的方法用到。

  private def getUserJarsExceptUdfJars: Seq[String] = {
   
    val flinkJars =
      if (
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Zeppelin中添加第三方依赖Kafka
litlit023的专栏
01-07 668
目录 1. 概述 2. 参考资料 1. 概述 在Zeppelin里如何添加第三方依赖，主要有以下两种方法 flink.excuetion.packages flink.execution.jars 在zeppelin中，使用flink链接kafka数据源，例如访问zeppelin的flink demo时，会有以下的一个paragraph来配置第三方jar包依赖，我们直接执行这个paragraph，zeppelin即可自动帮助我们下载上面的依赖： %flink.conf # This .
Zeppelin下载的第三方依赖包如何传递到Flink？
打工日常
11-02 276
在上一篇文章《Zepplin如何下载第三方依赖包？》讲解了zeppelin是如何下载第三方依赖的。本文讲讲这些依赖包如何和Flink进行交互？ 通过源码阅读，可以查到，总结如下图： FlinkScalaInterpreter是FlinkInterpreter的子类，在open方法中下载依赖包，在interpret方法中加载到类路径。看看FlinkInterpreter的interpret源码： @Override public InterpreterResult interpret(String
Flink on Zeppelin (3) - Streaming 篇
Ververica的博客
02-13 1015
继之前入门篇和Batch 篇之后，今天这篇 Flink on Zeppelin 主要讲述如何在 Zeppelin 中使用 Flink 的 Streaming 功能，我们会以 2 ...
Zeppelin踩坑记录
zc331560430的专栏
08-05 372
Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.3.1:enforce
zeppelin导入第三方依赖
wtt561111的专栏
05-13 4047
zeppelin导入第三方依赖
Zeppelin整合Flink采坑实录
麒思妙想
07-03 1987
I.前言前两天转了章大的zeppelin系列教程（以下简称“教程”），我也好好的研究学习了一波。我曾无数次鼓吹基于Jupyter的应用，也相信在未来数据分析领域，他会有自己的一席之地....
Zeppelin导入额外jar包方法
zhengzaifeidelushang的博客
08-30 911
Zeppelin导入额外jar包方法方法一：为特定用户导入特定jar包方法二：永久导入jar包方法三：临时导入jar包 方法一：为特定用户导入特定jar包 方法参考这篇博客： zeppelin为特定用户添加额外jar包 方法二：永久导入jar包 在zeppelin启动的环境变量中永远导入jar包 export SPARK_SUBMIT_OPTIONS="--jars /moudle/zeppelin-0.9.0/plugins/mysql-connector-java-8.0.21.jar" 方法三：
用ApacheZeppelin进行基于SQL的数据查询和分析
最新发布
AI天才研究院
07-19 3199
作者：禅与计算机程序设计艺术 Apache Zeppelin 是一款开源的、基于 Web 的交互式数据分析平台。其提供基于 SQL 的查询语言、可视化图表展示功能、SQL 代码自动补全、多种编程语言支持、数据导入导出功能等。Zeppelin 支持大数据处理、机器学习、流计算、金融数据分析等场景，可用于企业内部系统的快速开发与部署，也适合作
Flink on zeppelin第三弹UDF的使用
JasonLee实时计算
07-22 1260
用户自定义函数是非常重要的一个特征，因为它极大地扩展了查询的表达能力。不管是在spark sql或者hive中都支持用户自定义UDF的使用,虽然Flink提供了很多内置的UDF可以直接使...
flinksql on zeppelin安装及使用
80工龄程序员
08-11 670
zeppelin简介 Flink SQL的默认开发方式是通过Java/Scala API编写，与纯SQL化、平台化的目标相去甚远。目前官 方提供的FlinkSQL Client仅能在配备Flink客户端的本地使用，局限性很大。而Ververica开源的Flink SQL Gateway组件是基于REST API的，仍然需要二次开发才能供给上层使用，并不是很方便。 鉴于有很多企业都无法配备专门的团队来解决Flink SQL平台化的问题，那么到底有没有一个开源的、 开箱即用的、功能相对完善的组件呢？答案就
Flink on Zeppelin (2) - Batch 篇
Ververica的博客
02-10 1931
在Flink on Zeppelin入门篇中我们讲述了如何配置 Zeppelin + Flink 来运行一个最简单的 WordCount 例子。本文将讲述如何使用 Flink SQ...
Zeppelin使用心得总结
weixin_34311757的博客
02-25 1106
Zeppelin使用心得此次试验的项目是：Zeppelin+Anaconda2（包括Tensorflow等深度学习库）+Spark On Yarn+SQL On Zeppelin整个环境的搭建的过程。试验目标：将该环境搭建好了之后，可以在zepplin上基于web界面进行scala和python的编程，并且可以直接通过web界面进行深度学习建模并通过Spark集群进行学习训练...
Gradle 工具、Gradle插件、第三方依赖下载不下来的解决办法
qq_34723470的博客
04-16 1万+
Gradle 工具、Gradle插件、第三方依赖下载不下来的解决办法一、gradle 工具下载不下来。1、直接使用腾讯镜像，就想我上图截图的那个：2、把distributionUrl 拿到浏览器去下载，直接复制到浏览器即可，下载完之后放到本地的文件夹里面，我这里以mac 举例：二、gradle 插件下载不下来三、第三方依赖下载不下来 一、gradle 工具下载不下来。 我说的gradle 工具是 .gradle/wraper/gradle-wrapper.properties里面的哦。 这个gradle一
Flink x Zeppelin ，Hive Streaming 实战解析
Ververica的博客
07-30 711
Flink 1.11 正式发布已经三周了，其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了，所以就写了一篇 Zep...
Maven：关于maven依赖死活都下载不了终极解决方案
热门推荐
我是Java程序员廖志伟，感谢朋友们的支持！不定期贡献一篇高品质、过万文字、图文并茂且附有视频解说、满载代码示例注释的良心之作，坚决杜绝粗制乱造。
04-17 2万+
项目想下载一个依赖，在idea中死都下不了，查看网上各种解决方案都没有效果，出绝招，我使用命令下载导入到maven仓库 类似这种命令：mvn install:install-file -Dfile=d:\setup\dubbo-2.8.4.jar -DgroupId=com.alibaba -DartifactId=dubbo -Dversion=2.8.4 -Dpackaging=jar 举...
如何去看下载到本地的第三方依赖，并且知晓文件夹含义
qq_34723470的博客
04-16 618
一、下载的第三方依赖在哪里？ 下载到本地的第三方依赖在files-2.1里面。我随便找一个讲解一下。如下图 二、随机选择一个依赖看看？ 1、com.github.lecho 是模块包名。 2、hellocharts-library是项目名（可以理解为你创建的lib module的 module 名）。 3、1.5.8 是版本。 4、里面有四个文件夹，有的只有两个。这个文件夹的名字是hash码。 四个文件夹分别对应的是 aar 文件夹、jar 文件夹、source.jar 文件夹、pom文件夹。 我这里重
Flink Sql on Zeppelin（3）——UDF&Redis维表
狄杰的博客
06-14 1797
UDF 概述 UDF在我们的Sql开发中，是一个必不可少的帮手，通过Sql+UDF能够解决我们90%的问题 Flink目前提供了大量的内置UDF供我们使用，详细可以参考官方文档 不过有些时候，内置的UDF并不满足我们的需求，那就需要自定义UDF 下面我们就来看看如何在Zeppelin中使用自定义UDF 使用 在Flink中，使用代码注册UDF有两种方式 tEnv.registerFunction("test",new TestScalarFunc()); tEnv.sqlUpdate("CREATE
Flink on Zeppelin (1) - 入门篇
Ververica的博客
02-07 7122
Flink 在国内阿里巴巴的带领下发展的如火如荼。一直有人在 Zeppelin 社区问能否在 Zeppelin 里使用 Flink。现在终于有了进展了，从 Zeppelin 0.9 开始...
Apache Zeppelin安装及使用
chengxuyuanyonghu的专栏
02-07 7418
Apache Zeppelin官网：http://zeppelin.apache.org/ Apache Zeppelin介绍：A web-based notebook that enables interactive data analytics.  You can make beautiful data-driven, interactive and collaborative docu
Hadoop网站流量分析系统课程设计源码解析
- 数据可视化：最后，分析结果需要以直观的形式展现给用户，因此可能涉及到数据可视化技术，如使用Hadoop生态系统中的数据可视化工具Zepplin或Superset。 7. 项目潜在难点 - 数据预处理：在MapReduce作业中，原始...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值