Flink On Zeppelin Local模式环境搭建

最新推荐文章于 2022-10-31 15:56:12 发布
最新推荐文章于 2022-10-31 15:56:12 发布
阅读量364 收藏
点赞数
分类专栏： Flink 文章标签： FlinkOnZeppelin Flink Zeppelin Local模式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/litlit023/article/details/111407267
版权
本文介绍了如何在Zeppelin中搭建Flink的Local模式环境，包括Zeppelin的安装启动、相关jar包下载、Flink安装包准备、Zeppelin的Flink Interpreter配置以及运行Flink示例。强调了版本兼容性和端口配置的重要性。
摘要由CSDN通过智能技术生成

目录

1. 安装并启动Zeppelin

2. 下载相关jar包

3. 准备一个flink安装包

4. 启动Zeppelin

4.1 启动Zeppelin

4.2 配置 Flink Interpreter

5. 运行Flink demo

6. 参考资料

1. 安装并启动Zeppelin

Zeppelin的安装和启动，请参考我的这篇文章：Apache Zeppelin安装和启动，本人亲自验证过可成功启动Zeppelin；

 

2. 下载相关jar包

建议按照以下版本来下载，避免兼容问题

  • flink-hadoop-compatibility_2.11-1.11.3.jar 

该jar包对应于flink v.1.11版本

下载地址

https://repo1.maven.org/maven2/org/apache/flink/flink-hadoop-compatibility_2.11/1.11.3/

 

  • flink-shaded-hadoop-2-uber-2.7.5-7.0.jar下载地址

https://repo.maven.apache.org/maven2/org/apache/

了解本专栏 订阅专栏 解锁全文 超级会员免费看
fragrans
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
Flink On Zeppelin Remote模式环境搭建
litlit023的专栏
12-21 806
目录 1. 概述 2. Zeppelin Remote 模式概述 3. 运行flink demo示例 4. 参考资料 1. 概述 Flink on Zeppelin环境的Remote模式，与Local模式基本是一样的，只是Remote模式需要额外启动一个Flink集群，并设置以下4个参数即可： FLINK_HOME flink.execution.mode flink.execution.remote.host flink.execution.remote.port 2. Zep.
zepplin环境搭建——好用到手软
qq_38497133的博客
07-14 490
文章目录一、下载安装包并解压二、修改zepplin配置文件1、 一、下载安装包并解压 安装包路径：https://pan.baidu.com/s/1d5g2aAFmUJLqUTV10e4BWA 提取码：4ich 下载完成后，将安装包拖到自己Mobarxterm中soft目录(我这里使用的是Mobarxterm，soft目录是自己的hadoop、hive的安装目录)； 上传完成后，将安装包解压； 解压完成后，修改zepplin的目录名以便使用： [root@znn ~]# cd /opt/soft/ [roo
Spark2.0.2+Zeppelin0.6.2 环境搭建 初探
weixin_30888027的博客
01-17 101
0.抱怨与其他（此部分与标题没有太多联系）： 首先一点想说的是版本问题，为什么标题我会写清楚版本号呢！原因就是版本不对真的很会坑人。 就在写这篇博客的同一天，我还写了另一篇，是 Hadoop2.7.3+Spark2.1.0 完全分布式环境 搭建全过程 坑人的地方在哪里呢，Zeppelin0.6.2不支持Spark2.1.0这个版本 于是我又仔细的查看了官网的教程： 得出的结论是我必须要...
flink on zeppelin
大数据技术分享中心
06-18 764
一.什么是 zeppelin Zeppelin是一个基于Web的notebook，提供交互数据分析和可视化。后台支持接入多种数据处理引擎，如flink，spark，hive等。支持多种语言： Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。 开发者可以通过实现更多的解释器来为Zeppelin添加数据引擎。官方支持的执行引擎用一幅图可以清晰描述执行引擎的作用就是执行笔记中的与引擎相对应的代码，不同的引擎也会有不同
Apache Zeppelin 中 Flink 解释器
片刻 - ApacheCN
06-16 1645
概述 Apache Flink是分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎，为数据流上的分布式计算提供数据分发，通信和容错。Flink还在流式引擎之上构建批处理，覆盖本机迭代支持，托管内存和程序优化。   如何启动本地Flink群集，来测试解释器 Zeppelin配有预配置的flink-local解释器，它在您的机器上以本地模
Flink开发IDEA环境搭建与测试的方法
08-19
"Flink开发IDEA环境搭建与测试的方法" Flink是一个开源的分布式处理引擎，支持批处理和流处理两种模式。为了在IDEA中开发Flink应用程序，需要搭建相应的开发环境。下面将详细介绍Flink开发IDEA环境搭建与测试的方法...
Flink 开发环境搭建和应用的配置部署及运行.pdf
05-21
flink开发环境的搭建和应用的配置部署及运行 详细, 阿里巴巴
环境搭建+kafka+flink
12-24
环境搭建+kafka+flink 环境搭建是指在服务器上安装和配置各种软件环境，以满足项目的需求。在这个过程中，需要安装JDK、Kafka、Flink、Redis等软件，并进行相应的配置。 一、JDK环境搭建 1. 下载JDK安装包，并将...
flink环境搭建.pdf
01-18
Flink 环境搭建 Flink 是一个基于 Java 的大数据处理引擎，它提供了高性能、灵活性和可扩展性。为了搭建 Flink 环境，需要安装和配置一些必要的组件，本文将指导您完成 Flink 环境的搭建。 一、JDK 环境搭建 Java...
Flink开发环境搭建.md
最新发布
08-07
Flink开发环境搭建，从小白到高手，图文并茂
Zeppelin安装配置及使用，例网页版hive
Mogeko1的博客
10-31 1787
Zeppelin安装配置及使用，例网页版hive
flink学习笔记-flink的local模式安装部署
陈同学
03-19 2614
1、Flink的local模式部署安装 在local模式下，不需要启动任何的进程，仅仅是使用本地线程来模拟flink的进程，适用于测试开发调试等，这种模式下，不用更改任何配置，只需要保证jdk8安装正常即可 第一步：上传安装包并解压 将编译之后的压缩包，上传到node01服务器的/kkb/soft路径下，然后进行解压 tar -zxf flink-1.8.1.tar.gz -C /opt/ins...
[Zeppelin] 如何配置、使用和调试local模式的Spark解释器
大数据学徒的文章
11-06 1841
文章目录背景配置Spark解释器使用Spark解释器TroubleShootingnetty包版本冲突zlib库不可用jackson-databind包版本冲突总结 背景 之前我们分别安装过Zeppelin和Spark，在本文和下一篇文章里我们学习如何通过Zeppelin来使用Spark解释器，这篇文章介绍local模式，下一篇文章介绍启用了Kerberos认证的on Yarn模式，这篇文章介绍l...
zeppelin安装部署配置
热门推荐
chengxuyuanyonghu的专栏
02-07 1万+
首先，我们来了解一下这款工具的背景及用途。Zeppelin 目前已托管于 Apache 基金会，但并未列为顶级项目，可以在其公布的 官网访问。它提供了一个非常友好的 WebUI 界面，操作相关指令。它可以用于做数据分析和可视化。其后面可以接入不同的数据处理引擎。包括 Flink，Spark，Hive 等。支持原生的 Scala，Shell，Markdown 等。 对于 Zep
Zeppelin安装教程
Allure_love的博客
01-13 4469
zeppelin 安装过程，包含jdk,spark,scala,zeppelin等环境的配置教程，算是本人的一点经验，其中还有本人在搭配过程中的问题以及解决办法
zeppelin环境搭建及连接hive使用--简易版一看就会
我玩的很开心的博客
07-12 5863
zeppelin环境搭建及连接hive使用一、准备工作1.zepeelin简介2.安装包下载3.环境要求二、解压安装三、修改配置文件1.修改配置文件zeppelin-site.xml2.修改zeppelin的环境文件四、启动zepeelin五、配置hive解释器1.配置hive的环境变量至zeppelin中2.在web页面配置集成hive2.1需先启动hadoop和hive服务2.2启动zeppelin服务2.3打开网页创建hive集成环境六、使用Zepplin的hive解释器1.创建notebook节点2
Flink 最佳搭档：开发部署平台 Zeppelin 的自白
Ververica的博客
06-22 1170
‍Flink 的学习者或者爱好者想必十分了解，除了需要熟悉Flink 本身之外，如果能有一款简单上手的 Flink 开发部署工具，不用写前端代码就能实现实时大屏、支持全部语言接口、支持...
flink-conf.yaml 配置文件详解
ppwwp的专栏
02-11 7442
如果错误请留言…… ################################################################################ # Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See...
Zeppelin 部署
上帝之手&传奇 - MartinLee
08-12 474
--zeppelin 下载地址 https://downloads.apache.org/zeppelin/ http://zeppelin.apache.org/download.html [root@big-master1 conf]# cat /etc/profile # /etc/profile # System wide environment and startup programs, for login setup # Functions and aliases go ..
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值