Zepplin如何下载第三方依赖包？

最新推荐文章于 2022-03-13 11:35:22 发布
最新推荐文章于 2022-03-13 11:35:22 发布
阅读量285 收藏
点赞数
分类专栏： 大数据 文章标签： flink zeppelin集成
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MissWYAN/article/details/109444711
版权
本文探讨Zepplin如何通过flink.execution.packages参数下载和管理依赖包。详细解析源码，指出该参数在FlinkScalaInterpreter中的使用，并解释了DependencyUtils.resolveMavenDependencies方法的工作原理，说明了依赖包的本地缓存路径设置，涉及ivy工具的使用。
摘要由CSDN通过智能技术生成

在Zepplin中，有个参数flink.execution.packages。它可以像maven一样下载依赖包以及依赖包的相关依赖。那到底是怎么实现的呢？接下来我们看看源码。

通过阅读源码，可以知道flink.execution.packages是在FlinkScalaInterpreter.getUserJarsExceptUdfJars中的方法用到。

  private def getUserJarsExceptUdfJars: Seq[String] = {
   
    val flinkJars =
      if (!StringUtils.isBlank(properties.getProperty
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Better~Me
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Zeppelin中添加第三方依赖Kafka
litlit023的专栏
01-07 597
目录 1. 概述 2. 参考资料 1. 概述 在Zeppelin里如何添加第三方依赖，主要有以下两种方法 flink.excuetion.packages flink.execution.jars 在zeppelin中，使用flink链接kafka数据源，例如访问zeppelin的flink demo时，会有以下的一个paragraph来配置第三方jar包依赖，我们直接执行这个paragraph，zeppelin即可自动帮助我们下载上面的依赖： %flink.conf # This .
Zeppelin踩坑记录
zc331560430的专栏
08-05 311
Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.3.1:enforce
Flink实战（111）：flink-sql使用（十九）Flink 与 hive 结合使用（八）Hive Streaming 实战解析
张伟的专栏
03-13 2222
《2021年最新版大数据面试题全面开启更新》 Flink 1.11 正式发布已经三周了，其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了，所以就写了一篇 Zeppelin 上的 Flink Hive Streaming 的实战解析。本文主要从以下几部分跟大家分享： Hive Streaming 的意义 Checkpoint & Dependency 写入 Kafka Hive Streaming Sink Hi...
Flink on Zeppelin (3) - Streaming 篇
Ververica的博客
02-13 946
继之前入门篇和Batch 篇之后，今天这篇 Flink on Zeppelin 主要讲述如何在 Zeppelin 中使用 Flink 的 Streaming 功能，我们会以 2 ...
Flink on zeppelin 结合kafka实时计算pv uv写入mysql
JasonLee实时计算
07-19 1110
上一篇文章主要介绍了Flink on zeppelin的安装和使用,配置了yarn的模式跑通了一个streaming wordcount的例子,本文主要介绍结合kafka的使用,实时计算...
docker-zeppelin:Dockerized Zepplin w Spark 1.5
05-04
齐柏林飞艇一个基于debian:jessie的Spark Docker容器。 这是从派生出来的，并了一些细微的修改以使其在 1.5中获得成功用法在Spark本地模式或Spark集群中运行Zeppelin容器。当地的构建映像并在安装了数据量的本地模式...
ApacheZeppelin在ApacheTrafodion上的可视化
01-27
Apache Zeppelin是一款基于Web的数据分析和协作工具，它支持多种数据源的集成，包括Apache Trafodion和EsgynDB。Apache Trafodion是一个开源的分布式SQL-on-Hadoop解决方案，而EsgynDB是Esgyn公司提供的商业化版本，...
FullStack-Ethereum-React-Nextjs:第一个MVP以太坊区块链智能合约和Dapp
04-28
我从零开始构建它，以直接了解构建全栈以太坊MVP的复杂性。 经过大量的深入研究，如果我要使用Etheruem平台，我将从Zepplin智能合约和Zepplin OS框架作为基础开始。 <
Zeppelin架构原理分析
01-27
首先上一张官方给出的Zeppelin整体架构图ApacheZeppelin的架构比较简单直观，总共分为3层：1.Zeppelin前端2.ZeppelinServer3.ZeppelinInterpreter Zeppelin前端是基于AngularJS（目前社区正在升级改造前端，但是对...
DataVisualizerHack:致力于从yelp数据集中分析评论，执行关键词提取，情感分析并生成词云以更好地总结评论
05-24
脚步 - 您可以从下载数据集设置并运行Elasticsearch。 处理数据集并为所需数据编制索引。 帮助程序脚本可以执行各种任务，例如-处理数据，从数据集中加载数据，关键字提取和情感分析，用于Elasticsearch批量处理的...
zeppelin-0.8.1-bin-all.tgz
07-10
zeppelin-0.8.1-bin-all.tgz
zeppelin导入第三方依赖
wtt561111的专栏
05-13 3942
zeppelin导入第三方依赖
Flink on Zeppelin (2) - Batch 篇
Ververica的博客
02-10 1852
在Flink on Zeppelin入门篇中我们讲述了如何配置 Zeppelin + Flink 来运行一个最简单的 WordCount 例子。本文将讲述如何使用 Flink SQ...
Zeppelin整合Flink采坑实录
麒思妙想
07-03 1933
I.前言前两天转了章大的zeppelin系列教程（以下简称“教程”），我也好好的研究学习了一波。我曾无数次鼓吹基于Jupyter的应用，也相信在未来数据分析领域，他会有自己的一席之地....
Flink on zeppelin第三弹UDF的使用
JasonLee实时计算
07-22 1187
用户自定义函数是非常重要的一个特征，因为它极大地扩展了查询的表达能力。不管是在spark sql或者hive中都支持用户自定义UDF的使用,虽然Flink提供了很多内置的UDF可以直接使...
Flink x Zeppelin ，Hive Streaming 实战解析
Ververica的博客
07-30 661
Flink 1.11 正式发布已经三周了，其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了，所以就写了一篇 Zep...
Flink Sql on Zeppelin（3）——UDF&Redis维表
狄杰的博客
06-14 1716
UDF 概述 UDF在我们的Sql开发中，是一个必不可少的帮手，通过Sql+UDF能够解决我们90%的问题 Flink目前提供了大量的内置UDF供我们使用，详细可以参考官方文档 不过有些时候，内置的UDF并不满足我们的需求，那就需要自定义UDF 下面我们就来看看如何在Zeppelin中使用自定义UDF 使用 在Flink中，使用代码注册UDF有两种方式 tEnv.registerFunction("test",new TestScalarFunc()); tEnv.sqlUpdate("CREATE
Windows下使用zeppelin、Dockers搭建Flink学习环境
01-10 1861
一、原因 最近在学Flink，学的时候非常怀念学习Python用的Jupyter notebook，因此非常希望也能有一个类似Jupyter Notebook的环境来运行、学习Flink。可惜Jupyter Notebook现在不支持Flink，不过幸好还有Zeppelin。 zeppelin是一个基于web的notebook，支持各种解析器，可视化的数据提取，数据发现，数据分析等。当前zeppelin支持多中解析器，比如spark,python,jdbc,markdown,shell等等。 因为我是
Gradle 工具、Gradle插件、第三方依赖下载不下来的解决办法
热门推荐
qq_34723470的博客
04-16 1万+
Gradle 工具、Gradle插件、第三方依赖下载不下来的解决办法一、gradle 工具下载不下来。1、直接使用腾讯镜像，就想我上图截图的那个：2、把distributionUrl 拿到浏览器去下载，直接复制到浏览器即可，下载完之后放到本地的文件夹里面，我这里以mac 举例：二、gradle 插件下载不下来三、第三方依赖下载不下来 一、gradle 工具下载不下来。 我说的gradle 工具是 .gradle/wraper/gradle-wrapper.properties里面的哦。 这个gradle一
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱，希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值