idea打包jar在集群运行FlinkWordCount.jar

最新推荐文章于 2024-05-19 11:49:17 发布
最新推荐文章于 2024-05-19 11:49:17 发布
阅读量395 收藏 2
点赞数
分类专栏： flink 文章标签： intellij-idea jar hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_65077254/article/details/128983861
版权
  1. 首先idea打包jar(不过多讲述)
  2. 将自己打包好的jar通过xftp传入集群内(这里我是放在 /opt/module/hadoop-2.7.7/share/hadoop/mapreduce/FlinkWordCount.jar)
  3. 启动flink  (yarn-session要启动集群，单机模式不必)
  4. hadoop进入flink目录 ，在终端输入./bin/start-cluster.sh，启动flink
  5. 输入jps有StandaloneSessionClusterEntrypoint  
                   TaskManagerRunner 表示启动成功
  7. 在输入  /flink-15.3/bin/flink run --class cn.edu.xmu.WordCount /opt/module/hadoop-2.7.7/share/hadoop/mapreduce/FlinkWordCount.jar
  8. 注意目录随自己的更改

 

 

超短腿迪迦
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
WordCount.jar
08-07
flink1.9版本自带的批处理wordcount例子，目录位于：flink-1.9.0\examples\batch
Flink学习10：使用idea编写WordCount，并打包运行
hzp666的博客
08-03 876
5个步骤 import org.apache.flink.api.scala._ object flinkTest { def main(args: Array[String]): Unit = { //first: build env val env = ExecutionEnvironment.getExecutionEnvironment //second: create datasource val text: DataSet[String] =
使用Flink批处理实现WordCount
小泽
11-19 295
flink
最详细Flink安装以及案例之WordCount
IT晓白
01-23 2649
前言：本文主要介绍如何将Flink以本地模式运行在单机上。 运行环境 Linux-CentOS6.8 JDK-1.8 hadoop-2.7.5 flink-1.7.1-bin-hadoop27-scala_2.11 flink安装配置过程 1.下载 1.1进入下载页面。如果你想让Flink与Hadoop进行交互（如HDFS或者HBase），请选择一个与你的Hadoop版本相匹配的Flink包。...
Flink-经典案例WordCount快速上手以及安装部署
m0_46507516的博客
11-16 1130
Flink快速上手以及安装部署
运行flink socketwindowwordcount.jar 报错_妈妈再也不用担心，我学不会大数据 flink 啦...
weixin_39640773的博客
12-03 973
1. 业务说：“…… bulabula……，这个需求很简单，怎么实现我不管？”面对霸气侧漏的业务需求，由于没有大数据知识储备，咱心里没底，咱也不敢问，咱也不敢说，只能静下来默默储备、默默寻觅解决方案。关注“一猿小讲”公众号的小伙伴们，今天有福啦，因为今天我们将一起跳出系统之外，共同迈入大数据之 flink 的大门。flink 是啥？flink 干啥用的？……我相信，你心中肯定有类似千万种这样疑问，...
Flink部署安装及其WorldCount执行
杨得朝的博客
11-09 1939
Flink启动及其WorldCount执行 大家好，是瓜哥，最近几年，大数据处理组件Flink非常火，作为一个从事多年java的老程序员，也得跟上时代的技步伐，不然迟早就会被这个技术千变万化的时代抛弃。 Flink 是一个针对流数据和批数据的分布式处理引擎，代码主要是由 Java 实现，部分代码是 Scala。它可以处理有界的批量数据集、也可以处理无界的实时数据集。对 Flink 而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已，所以 Flink 也是一款真正的流批统一的计...
【零基础学flink】flink安装和wordcount实战
我的博客
04-26 1021
一、安装 目前最新的flink版本是：1.8.0 下载地址： https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.8.0/flink-1.8.0-bin-scala_2.11.tgz 大家可以去flink官网下载自己需要的flink版本，这里以目前最新的版本为例 flink版本列表：https://flink.apache.org/...
使用IDEA工具连接CDH集群里面的hive组件
10-06
IDEA工具 连接CDH集群里面的hive组件 亲自测试通过 可以连接使用
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。 对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象...
IDEA免费的REDIS插件
04-29
IDEA免费的REDIS插件，支持项目内搜索查看redis键值对。
flink入门到企业开发——无代码（仅供参考）.zip
08-08
这个是flink的入门学习视频...16.flink集群运行模式-从IDEA中导出jar包.mp4 17.检查flink集群运行状况-传递jar到centos.mp4 18.启动centos的nc服务器地址-端口指定9999.mp4 19.flink程序运行-执行结果查看-注意事项.mp4
基于SSM框架的Java电商项目.zip
06-16
代码 clone 下来之后有几个 jar 包需要使用 maven 自行导入： ueditor json fastdfs 技术选型 Spring Spring MVC Mybatis redis solr EasyUI UEditor JQuery Freemark activMQ httpClient MySQL FastDFS ... 开发...
Flink实战（二）开发一个简单的程序 WordCount
wuhulala的休息室
09-22 715
文章目录开发搭建开发环境启动应用程序1. 启动nc2. 启动程序 开发 搭建开发环境 准备 pom.xml 文件 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven...
Flink运行自带SocketWindowWordCount.jar报错Job failed 和 Connection refused (Connection refused)
qigemantou的博客
08-20 5388
第一个原因：没有 nc -l 9000 的情况下直接执行了这句话 ./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000 第二个原因：端口号最好换一个，如果配置了连接hdfs的话 第三个原因：其实因为你配置了hdfs环境的原因，仔细想想，你是不是修改了 vim conf/flink-c...
2.Flink开发环境搭建及wordCount
Leeyehong_self的专栏
03-28 599
1. Flink 介绍 Flink是对无界和有界流数据进行处理的分布式计算框架 1.1 如何学习Flink 官网 https://flink.apache.org/ 官方的案例 国内关于flink的权威平台 https://ververica.cn/ 源码 https://github.com/apache/flink 1.2 Flink1.9 跟之前的版本有什么区别？ 之前离...
Flink的安装部署及WordCount测试
weixin_45399602的博客
09-19 2239
一、本地模式 在本地以多线程的方式模拟Flink中的多个角色。(开发环境不用) 下载地址：https://flink.apache.org/downloads.html 这里下载的是：flink-1.13.0-bin-scala_2.12.tgz 上传到常用的位置，然后解压。 启动： 切换到flink的bin目录下，执行./start-cluster.sh，然后查看进程。 二、Standalone 独立集群模式 (如果先做了第一步，记得先停止服务，stop-cluster.sh) 上传、解压tar包。
运行flink socketwindowwordcount.jar 报错_答应你们的，Flink的算子操作来喽，你们要看奥（说话算话）...
weixin_39718173的博客
11-30 493
前言好的，我们这一篇来介绍一下Flink的算子操作Flink的下载很简单，下好之后解压出来，进到Flink的bin目录下，启动 start-cluster.sh 即可，此时我们可以访问 localhost:8081 去进行访问它那精美的页面停止的话，使用 stop-cluster.sh 即可一、Flink 的算子1.1 （补充）Flink Shell 使用针对初学者，开发的时候容易出错，如果每次都...
【Java语言IntelliJ IDEA 2021.1.3 x64安装包】IntelliJ IDEA软件到期解决办法以及json文件示例
最新发布
一伦明悦的博客
05-19 637
IntelliJ IDEA 2021.1.3 x64 是一款由 JetBrains 公司开发的集成开发环境（IDE），专门用于 Java 编程。这个版本是针对 64 位操作系统的。它提供了丰富的功能和工具，帮助开发人员编写、调试和部署 Java 应用程序。IDEA 具有智能代码编辑功能、强大的代码导航和重构工具、集成的构建工具、调试器和版本控制系统等，可以提高开发效率并提供更好的开发体验。注：这里的所有的安装包的下载文件都在上传的资源中，可以直接下载。
idea打包jar包到spark运行
06-28
3. 在IDE中打包项目，生成一个jar包。 4. 将生成的jar包上传到Spark集群中。 5. 在Spark集群中运行以下命令： ``` spark-submit --class com.example.Main --master yarn --deploy-mode cluster /path/to/jar ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值