Flink简单教学2-本地安装和运行

最新推荐文章于 2022-11-17 16:31:48 发布
最新推荐文章于 2022-11-17 16:31:48 发布
阅读量311 收藏 1
点赞数
分类专栏： Flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuxuyang_7788/article/details/103024568
版权

下载安装包

访问官网,下载最新版本。本教程使用Flink1.9版本。
download

目录说明

dir

  • bin flink 启动的脚本文件
  • lib flink 运行时jar包依赖
  • conf flink 启动的配置，如web端口，日志配置等
  • example flink 提供了很多例子，不但有流和批的还有python接口的

执行例子

  • 启动cluster单机版
    进入bin执行命令 windows:.\start-cluster.bat、linux：.\start-cluster.bat
  • 介绍web界面
    启动完成后打开localhost:8081查看flink web页面
    dashboard
    1. solt 槽位，flink资源单位
    2. 当前运行的job数量
    3. TaskManager 任务都是在TaskManager上运行
    4. JobManager 用来管理TaskManager

关注我的公众号

了解我的最新动向
qrcode_for_gh_eac3d4651e58_344

收藏我的个人博客

下一篇-编写你的第一个flink程序

wuxuyang_7788
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在idea中运行flink程序所需要lib
11-19
在idea中运行flink程序所需要lib和关联jar包
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar.zip
05-27
这个压缩包中的 `flink-shaded-hadoop-2-uber-2.7.5-10.0.jar` 文件，是 Flink 针对 Hadoop 2.7.5 版本的“Uber JAR”，它是将多个依赖库打包在一起的单一 JAR 文件，旨在简化部署和运行流程。 首先，我们来理解...
Flink如何加载其他目录的jar包
地推日记
08-28 3286
问题描述 Flink业务一般在运行过程中默认加载的jar包路径为：xxx/Flink/flink/lib的目录下，如果添加其它路径的jar包会报错，如何添加其它外部依赖 解决方案 创建一个外部的lib目录，将部分依赖包放到外部lib目录下，如下图： 2. 修改启动脚本的参数配置脚本，sh将jar包路径传给环境变量中 3. 此时正常启动任务即可， 不需要加-C参数 HDFS上也能看到第三方jar的目录 ...
docker-compose部署flink集群，外部挂载flink配置
半岛落枫的博客
03-13 3534
flink集群部署 拉取flink镜像 docker pull flink 自定义创建目录（例如/usr/local/flink/flink-docker） mdkir /usr/local/flink/flink-docker 在上述目录，创建文件docker-compose.yml version: "2.1" services: jobmanager: image: flink expose: - "6123" ports: - "8
1.11 flink中的动态加载udf jar包
u010034713的博客
10-16 3647
背景 项目中想要把flink做到平台化,只需要编辑sql便能把任务跑起来,开发过程中遇到一个问题,就是如何能够自动的加载自定义的函数包,因为项目中已经把main打包成一个通用的jar, 使用时只需要把sql信息用参数形式传入就可以. 但是如果sql中需要使用到udf,那么就需要实现flink的动态加载jar 先说结论 在通用的jar main中通过反射使用类加载器,加载对应的jar包 通过反射设置StreamExecutionEnvironment中的configuration的confData中的
Flink 动态加载 Jar 包，实现自定义算子加载执行
zx711166的博客
12-30 2291
Flink 动态加载 Jar 包，实现自定义算子加载执行动态加载Jar动态Jar调用方式 动态加载Jar 对应的参数： path：Jar 的存放路径。 env：Flink 的环境实例。 classPath：动态Jar的类路径。 import java.lang.reflect.Field; import java.lang.reflect.Method; import java.net.URL; import java.net.URLClassLoader; import java.util.Array
flink-1.19.0-bin-scala-2.12.tgz flink-1.16.3-bin-scala-2.12.tgz
最新发布
05-21
用户可以通过解压这些文件来搭建Flink集群，或者在本地进行开发和测试。 在实际使用中，用户需要根据自身的环境和需求选择合适的Flink版本。如果是新项目，可能会倾向于选择最新版本以获取更多特性；如果是已有项目...
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
07-08
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
03-03
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
flink-1.14.0-bin-scala_2.11.tgz
07-18
标签“flink-1.14.0-bin”则强调了这是 Flink 的二进制发行版，不涉及源代码，适用于那些希望快速启动和运行 Flink 而不关心底层实现的用户。 压缩包内的“flink-1.14.0”目录，是 Flink 安装的核心部分，其中包含...
flink-python-examples:使用flinks新的python API的示例集合
05-14
Python Flink:trade_mark:示例 使用Apache Flink:trade_mark:的新python API的示例集合。 要使用最新的Flink构建来设置本地环境，请参见指南： 。 此处的示例使用v0.10.0 python API，旨在用作简单用例的演示。 当前，Python API支持DataSet API的一部分，从用户的角度来看，它具有与Spark类似的功能。 为了运行示例，我在顶层包含了一个运行程序脚本，其中包含每个示例的方法，只需在pyflink脚本中添加路径，就可以了（只要您在本地运行flink集群即可） 。 当前包括的示例是： 例子 此处包括示例列表及其生成的flink计划。 字数 一个非常简单的分析程序使用来自简单字符串的源，对每个单词的出现进行计数并输出到磁盘上的文件（使用覆盖功能）。 热门标签 与字数统计非常相似的示例，但包括仅包含主题标签和不同源/接收器的过滤步骤。 在这种情况
flink on yarn指定第三方jar包
热门推荐
第一片心意的博客
01-03 1万+
flink on yarn加载第三方jar包。
flink 缓存问题处理过程，看我十八般武艺
我是香菜
11-17 1750
flink 问题解决过程
Flink的classLoader加载机制（推测）-- 记一次程序问题中的探索
lijianqingfeng的专栏
07-02 4801
项目中需要用flink去加载c++的so文件。flink任务中如果有加载so的逻辑，当任务挂掉之后，再次重启的时候会报“Native Library xxx is being loaded in another classloader”的错误（这个过程中Flink集群的进程没退出）。 通过分析System.loadLibrary(String libname)方法，发现加载后的so文件会记录在内存里，会记录一些信息，包括so文件名、加载这个so的类所用的classLoader（每个类都是被...
flink如何动态支持依赖jar包提交
weixin_30512785的博客
08-06 1564
通常我们在编写一个flink的作业的时候，肯定会有依赖的jar包。flink官方希望你将所有的依赖和业务逻辑打成一个fat jar，这样方便提交，因为flink认为你应该对自己的业务逻辑做好单元测试，而不应该把这部分测试工作频繁提交到集群去做。但事实是我们往往不愿意打一个fat jar，我们希望将业务逻辑独立出来，依赖动态提交。可惜的是，flink并不支持这种提交模式。 flink官方的文档中提...
flink简单使用
兜里有包包
04-25 3167
参考 https://flink.apache.org/ https://www.jianshu.com/p/2ee7134d7373 https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/ https://www.jianshu.com/p/26c9ef86fb19 https://blog.csdn.n...
Springboot集成Flink——本地方式运行Flink jar包
Aspirin's Nest
05-18 6351
前言 首先有一个问题，Flink程序可以在idea中正常运行，但是将Flink打成jar包，使用java -jar的方式运行jar包就会报错。这个问题一直没有解决。 正好最近遇到这样一个场景，需要将flink程序集成到Springboot程序中（不要问为啥要在本地执行flink程序，不上集群），集成完以后没想到效果出奇的好，Springboot程序可以正常运行，flink程序也可以通过jar的方式启动了。 下面是集成过程。 Springboot集成Flink 第一步，创建Springboot项目。
flink
t17246的博客
06-13 291
一 架构设计1 架构设计图二运行模式1 本地运行模式 -local ：一个机器启动一个进程的多线程来模拟分布式计算，2 standalone 模式-独立Flink集群：各个环节Flink自己搞定，并没有yarn 、mesos统一资源调度 平台3 集群运行模式：经常是指 flink on yarn 集群模式，yarn也可换为mesos,Kubernetes等集群运行模式共3种：1）Flink Session 集群(会话模式)2) Flink Job 集群(per-job模式）3) Flink Applicat
flink-sql-connector-hive和flink-connector-hive区别
03-29
flink-sql-connector-hive和flink-connector-hive的区别在于它们的作用和使用方式： flink-sql-connector-hive是一个Flink SQL连接器，用于将Flink与Hive集成，可以在Flink SQL中使用Hive表进行数据处理。它提供了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值