Flink安装及运行worldcount

最新推荐文章于 2024-09-06 17:05:43 发布
最新推荐文章于 2024-09-06 17:05:43 发布
阅读量452 收藏
点赞数
分类专栏： flink 文章标签： flink 安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fenggms/article/details/102704382
版权
本文介绍如何在本地环境中部署Apache Flink并运行官方WorldCount示例。通过执行start-cluster.sh脚本启动集群，使用nc命令监听9000端口，然后提交Flink的SocketWindowWordCount.jar程序进行数据处理。最后，在网页端查看结果，并通过查看日志文件跟踪任务执行情况。
摘要由CSDN通过智能技术生成

参考地址
https://ci.apache.org/projects/flink/flink-docs-release-1.8/tutorials/local_setup.html

启动截图

./bin/start-cluster.sh

在这里插入图片描述

访问，默认端口为8081
在这里插入图片描述

运行官网worldcount示例

xshell中新打开一个窗口，启动端口

nc -l 9000

在这里插入图片描述
提交Flink 程序：

./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

在这里插入图片描述
网页端可以看到：
在这里插入图片描述
进入log目录，查看 tail -f flink-root-taskexecutor-0-hadoop.out

在这里插入图片描述

Fenggms
关注
专栏目录
Flink 三种运行模式安装部署和WorldCount
Emperor_CJ的博客
04-30 1226
前言 Flink三种运行方式：Local、Standalone、On Yarn。成功部署后分别用Scala和Java实现wordcount 环境 版本：Flink 1.7.X 集群环境：Hadoop2.6 开发工具: IntelliJ IDEA 一.Local模式 解压：tar -zxvf flink-1.7.X-bin-hadoop26-scala_2.11.tgz cd flink-...
IDEA打包Scala开发的Flink程序并部署到服务器运行
zhengzaifeidelushang的博客
11-03 735
IDEA打包scala开发的Flink程序并部署到服务器运行 一、Scala开发的Flink代码 package com.bigdata.wc import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.scala._ object WordCount { def main(args:Array[String]):Unit={ //创建一个批处理的执行 val env:ExecutionEnv
FLINK安装
weixin_58634715的博客
11-25 2011
.官网下载好flink软件后，就可以准备开始安装了flink-1.7.2-bin-hadoop27-scala_2.11.tgz。 第一步，先将下载好的软件上传到Linux本地文件/home,可以放在opt 第二步，解压flink压缩包 tar -zxvf flink-1.7.2-bin-hadoop27-scala_2.11.tgz 第三步，配置环境变量, 在此文件最后加上下面的路径配置： 保存退出后，运行命令刷新环境变量 第四步，修改 ./conf/flin...
基于flink实现的worldcount
whandgdh的博客
06-09 714
Flink框架主要应用针对流式数据进行有状态计算。 Flink使用java语言开发，提供了scala编程的接口。使用java或者scala开发Flink是需要使用jdk8版本，如果使用Maven，maven版本需要使用3.0.4及以上，Flink同时也支持使用python进行开发，需要在python中安装PyFlink 包 本实例基于flink1.7.1。 创建maven工程，pom配置文件如下： <?xml version="1.0" encoding="UTF-8"?> <proje
Flink安装(单机模式、Windows)
最新发布
solutionier的博客
09-06 1594
想要深入学习Flink的可以另外参考其他文献，我对Flink概念了解也不太深，文本只做简单说明(比较抽象)。对于Flink我把它理解为一款非常优秀的数据处理中间件，它能把数据处理的过程单独提取出来，减轻数据流通过程中其他步骤的压力。用过大数据量数据库的同道们应该有体验，当数据量足够大时，简单的查询都会变得很缓慢，更别说在查询语句中加入计算。正常情况下，我们计算数据的过程是在程序中，而sql只需要负责拿出数据。
flink安装
weixin_42357472的博客
10-22 274
mac下载 brew install apache-flink 参考：https://www.jianshu.com/p/2c94ffe0d253 2、查询安装成功 命令：flink --version 或者 brew info apache-flink 3、运行 cd /usr/local/Cellar/apache-flink/1.11.2/libexec/bin 下运行 ./start-cluster.sh 然后网页打开 http://localhost:8081/#/overview ...
基于flink使用对象封装实现worldcount
whandgdh的博客
06-10 293
在上一篇博客：基于flink实现的worldcount通过flink自带的Tuple实现了单词统计，本文在上一篇博客环境基础之上，通过封装对象实现。 1、创建WordDto public class WordDto { private String word; private Integer count; public WordDto() { } public WordDto(String word, Integer count) { this.w
【Flink入门修炼】1-3 Flink WordCount 入门实现
笨鸟先飞的博客
02-07 1904
本篇文章将带大家运行 Flink 最简单的程序 WordCount。先实践后理论，对其基本输入输出、编程代码有初步了解，后续篇章再对 Flink 的各种概念和架构进行介绍。 下面将从创建项目开始，介绍如何创建出一个 Flink 项目；然后从 DataStream 流处理和 FlinkSQL 执行两种方式来带大家学习 WordCount 程序的开发。
Flink学习笔记：Flink的最简安装
howard2005的专栏
07-12 831
Flink的最简安装；利用Flink Shell实现词频统计
Flink demo wordCount词频统计及单机任务提交
qq_24095055的博客
06-05 913
本文相关内容出自Flink官方文档：http://flink.apache.org/ 在完成本地Flink安装后，通过在安装目录下执行start脚本可启动单机Flink。 bindeMacBook-Air:libexec bin$ pwd /usr/local/Cellar/apache-flink/1.10.1/libexec bindeMacBook-Air:libexec bin$ ./bin/start-cluster.sh 此时可通过 http://localhost:8081/ 查看Flin
flink-1.2.1安装包
06-09
流数据处理软件flink安装包，相比于spark,storm，具有更大的优势。
flink安装文件，详细
05-21
flink相关文档
Flink安装
csdn问鼎
01-12 447
Flink下载 下载地址 以下操作在服务器上操作,前置环境安装JDK tar -zxvf 文件  启动 bin/start-cluster.sh ,查看web端口8081 执行demo任务 bin/flink run ./examples/batch/WordCount.jar 在web界面可以看到任务运行的界面        ...
flink的简单安装
大曹的博客
11-04 305
flink的优点确实是挺强的，不过公司业务用不到，都是离线的，所以说拿出来研究研究，希望以后有机会能够用到 Flink on yarn 安装 下载flink 网址:http://mirror.bit.edu.cn/apache/flink/flink-1.7.1/flink-1.7.1-bin-hadoop27-scala_2.11.tgz 上传然后解压 //解压到自己的软件目录下 tar -...
[Flink03] Flink安装
渡江客涂鸦板
02-18 1764
在Flink Standalone模式下，实现HA的方式可以利用ZooKeeper在所有正在运行的JobManager实例之间进行分布式协调，实现多个JobManager无缝切换。Flink Standalone模式的HA架构如图：HA的核心就是：可以在集群中启动多个JobManager，并使它们都向ZooKeeper进行注册，ZooKeeper利用自身的选举机制保证同一时间只有一个JobManager是活动状态（Active）的，其他的都是备用状态（Standby）。
大数据_Flink_数据处理_案例WorldCount_流处理版---Flink工作笔记0009
添柴程序猿的专栏
02-19 355
我们看一下,上一节我们用批处理的方式,来处理了一个wordcount文件,要知道批处理,是用来进行 离线数据处理,那些数据是死的放在那里的.然后这次我们来看,我们用flink提供的流式处理,来实现这个wordCount功能. 首先我们创建一个StreamWordCount这个类,然后,写一个main方法 然后我们去看看之前批处理的WordCount,可以看到用的是一个批处理的执行环境 ExecutionEnvironment 然后我们来看,流处理的,环境是: StreamE...
flink安装及其配置
lclchong的博客
07-30 550
flink安装及其配置
Flink 快速入门：下载、安装与运行指南
本文主要介绍了如何下载、安装和运行Apache Flink，以及如何使用Docker进行部署。Flink是一个用于处理连续数据流的高性能框架，适用于大数据处理。文章提供了使用Maven创建Flink项目的步骤，并给出了一个简单的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值