flink安装并且运行WordCount任务

最新推荐文章于 2024-02-07 17:40:15 发布
最新推荐文章于 2024-02-07 17:40:15 发布
阅读量2.3k 收藏 2
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flyfelu/article/details/99745294
版权

1.官网下载flink:https://www.apache.org/dyn/closer.lua/flink/flink-1.8.1/flink-1.8.1-bin-scala_2.11.tgz

2.下载后上传到服务器，解压并运行flink服务

cd /usr/local/flink-1.8.1-bin-scala_2.11/flink-1.8.1/bin
./start-cluster.sh

3.通过浏览器访问flink控制台, 服务器ip:8081

4. 通过idea创建flink的word count任务,选择flink-quickstart-java模板

5.创建后的项目主类为：SocketTextStreamWordCount，对项目打包

mvn clean package -Dmaven.test.skip=true

6.在flink所在的服务器上，运行nc -l 9000（如果命令不存在，运行yum -y install nc安装）

7.另开一个窗口，将打的jar包上传到服务器上，并且在flink根目录下运行

bin/flink run -c com.zjl.flink.SocketTextStreamWordCount  webapp/flink-learning-introduction-1.0-SNAPSHOT.jar 127.0.0.1 9000

8.运行成功后，在flink的控制台便能看到你上传的任务

9.在运行nc命令的窗口上随便输入字符串：

 

10.查看运行的结果

 

参考：http://www.54tianzhisheng.cn/2018/09/18/flink-install/

https://blog.csdn.net/qq_42108136/article/details/83751759 

郎帅
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据技术之flink实现简单的wordcount
Antg的博客
12-06 2066
flink简单实现wordcount
Flink部署安装及其WorldCount执行
杨得朝的博客
11-09 1977
Flink启动及其WorldCount执行 大家好，是瓜哥，最近几年，大数据处理组件Flink非常火，作为一个从事多年java的老程序员，也得跟上时代的技步伐，不然迟早就会被这个技术千变万化的时代抛弃。 Flink 是一个针对流数据和批数据的分布式处理引擎，代码主要是由 Java 实现，部分代码是 Scala。它可以处理有界的批量数据集、也可以处理无界的实时数据集。对 Flink 而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已，所以 Flink 也是一款真正的流批统一的计...
Flink基础系列8-Flink on yarn运行wordcount程序
热门推荐
只是甲的博客
10-15 1万+
文章目录环境介绍一.Maven配置二.Java代码编写三.Maven打包并上传四.运行jar文件五.运行其它的class文件参考 环境介绍 测试服务器CDH 6.3.1版本安装Flink 1.9版本。 hello.txt文件 hello word hello hdfs hello mapreduce hello yarn hello hive hello spark hello flink 一.Maven配置 Flink依赖的配置 <dependency> <groupId&
[Flink]Flink三种运行模式安装部署以及实现WordCount
ChengYanan的博客
06-26 5314
前言 Flink三种运行方式：Local、Standalone、On Yarn。成功部署后分别用Scala和Java实现wordcount 环境 版本：Flink 1.6.2 集群环境：Hadoop2.6 开发工具: IntelliJ IDEA 一.Local模式 解压： tar -zxvf flink-1.6.2-bin-hadoop26-scala_2.11.tgz cd flink-1.6....
Flink实现WordCount（实操详细步骤）
bboy枫亭的博客
08-10 7108
本文使用 Flink 的两种方式实现 WordCount 基于流计算 基于批计算 文章目录1. Idea 新建 Maven 项目并配置以下依赖2. 实现代码及详细注释2.1 Flink 基于流计算实现 WordCount2.2 Flink 基于批计算实现 WordCount2.3 附件：完整代码 先说一下我的环境： Flink 1.9 开发工具：Idea Maven版本：3.3.9 Linux：CentOS 7 演示语言：Scala 2.11 1. Idea 新建 Maven 项目并配置以下依赖 &lt
flink安装包以及wordcount
02-03
下面将详细阐述Flink的安装步骤以及WordCount任务的实现。 **Apache Flink安装** 1. **下载Flink**: 首先，你需要从Apache Flink的官方网站（https://flink.apache.org/downloads.html）下载适合你操作系统的最新...
Flink安装教程以及Nginx安装包
03-07
5. **编写和运行示例**: 在`examples`目录下有一些内置的示例程序，你可以通过`run-example`命令来运行它们，比如`flink run examples/streaming/WordCount.jar`。 【Nginx安装包】 Nginx是一个高性能的Web服务器...
Flink安装-简介.docx
07-30
为了验证安装是否正确，可以运行 Flink 示例程序中的 WordCount。WordCount 是一个基础的文本分析程序，统计输入文本中单词出现的次数。 1. **准备 WordCount 示例**：Flink 的 `examples` 目录下包含了预编译的 ...
flink 1.14.3基础环境下的nc+wordcount（java）
03-18
在本文中，我们将深入探讨如何在Flink 1.14.3的基础环境中实现一个简单的Java应用程序，该程序从nc（netcat）读取实时数据流，并执行经典的WordCount操作。这个入门级的示例是大数据处理初学者理解Apache Flink核心...
实验8 Flink初级编程实践
06-28
实验8的焦点是Flink初级编程实践，涵盖了两个主要任务：开发WordCount程序以及实现数据流词频统计。以下是对这两个任务的详细说明： **任务一：开发WordCount程序** 1. **安装环境**：实验在Windows 10环境下通过...
WordCount打包部署到Flink Standalone 集群模式的运行过程演示
若兰幽竹
06-23 563
本次实验主要是向大家演示了在Flink Standalone 模式下运行WordCount程序的过程，其目的想让大家知道flink程序开发完成后，如何将其打包上传到服务器，并能通过查看webui界面查看flink相关的概念等。 ......
Flink运行wordcount——读写hdfs
雷神乐乐的博客
11-23 832
Flink运行wordcount——读写hdfs
Flink WordCount 运行流程
地球人是我哈的博客
06-16 252
提交流程
flink任务提交&wordcount
qwert123009的博客
07-11 1612
flink wordcount & standalone模式的 任务提交
【Flink入门修炼】1-3 Flink WordCount 入门实现
最新发布
笨鸟先飞的博客
02-07 1792
本篇文章将带大家运行 Flink 最简单的程序 WordCount。先实践后理论，对其基本输入输出、编程代码有初步了解，后续篇章再对 Flink 的各种概念和架构进行介绍。 下面将从创建项目开始，介绍如何创建出一个 Flink 项目；然后从 DataStream 流处理和 FlinkSQL 执行两种方式来带大家学习 WordCount 程序的开发。
Flink WordCount实例
weixin_43520450的博客
05-24 1623
Flink WordCount一、使用Socket传输数据二、Java代码运行WordCount三、Scala代码运行WordCount四、Flink 监控维基百科五、Wiki To Kafka六、Flink Source实战6.1 Kafka + Flink Stream + MySQL6.2 Flink Stream + Kafka 一、使用Socket传输数据 [root@bigdata111 flink-1.6.1]# bin/flink run examples/streaming/SocketW
Flink-经典案例WordCount快速上手以及安装部署
m0_46507516的博客
11-16 1179
Flink快速上手以及安装部署
Flink:详细的不能再详细的安装步骤(三)[安装步骤]
07-27 6786
3.第Flink 集群搭建 Flink 支持多种安装模式。 local[本地]单机模式 -------单机模式， 一般不使用 standalone --------独立模式， Flink 自带集群，开发测试环境使用 yarn ------计算资源统一由 Hadoop YARN 管理，生产环境测试 3.1 standalone 集群环境 3.1.1 准备工作 jdk1.8 及以上【 配置 JAVA_HOME 环境变量】 ssh 免密码登录【 集群内节点之间免密登录】 3.1.2 下载安装包 Flin
Flink1.12.0简单实现wordcount
东城庞太师
03-31 452
文章目录 前言 一、Flink1.12.0简单实现wordcount 二、使用步骤 1.引入pom.xml 2.主类 3.运行结果 总结 前言 Flink1.12.0简单实现wordcount 一、Flink1.12.0简单实现wordcount Flink1.12.0简单实现wordcount 二、使用步骤 1.引入pom.xml 代码如下（示例）： <?xml version="1.0" encoding="UTF-8"?> <project xm.
flink wordcount
05-10
Flink WordCount 是 Flink 的一个经典示例，用于演示 Flink 流处理的基本功能。它是一个简单的单词计数程序，可以从输入文本中读取单词，并计算每个单词在文本中出现的次数。 以下是一个 Flink WordCount 的示例代码： ```java import org.apache.flink.api.java.utils.ParameterTool; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.api.functions.source.FileSource; import org.apache.flink.streaming.api.functions.source.SourceFunction; import org.apache.flink.streaming.api.windowing.time.Time; public class WordCount { public static void main(String[] args) throws Exception { final ParameterTool params = ParameterTool.fromArgs(args); // 设置执行环境 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置数据源 DataStream<String> text; if (params.has("input")) { text = env.readTextFile(params.get("input")); } else { System.out.println("Executing WordCount example with default input data set."); System.out.println("Use --input to specify file input."); text = env.fromElements(WordCountData.WORDS); } // 转换数据流 DataStream<WordWithCount> counts = text.flatMap(new Tokenizer()) .keyBy("word") .timeWindow(Time.seconds(5)) .sum("count"); // 输出结果 if (params.has("output")) { counts.writeAsText(params.get("output")); } else { System.out.println("Printing result to stdout. Use --output to specify output path."); counts.print(); } // 执行任务 env.execute("Streaming WordCount"); } // 单词拆分函数 public static final class Tokenizer implements FlatMapFunction<String, WordWithCount> { @Override public void flatMap(String value, Collector<WordWithCount> out) { String[] tokens = value.toLowerCase().split("\\W+"); for (String token : tokens) { if (token.length() > 0) { out.collect(new WordWithCount(token, 1L)); } } } } // 单词计数类 public static final class WordWithCount { public String word; public long count; public WordWithCount() {} public WordWithCount(String word, long count) { this.word = word; this.count = count; } @Override public String toString() { return word + " : " + count; } } } ``` 该程序使用 Flink 流处理 API 来读取输入文本、拆分单词、计数单词并输出结果。程序的具体执行流程如下： 1. 读取命令行参数或默认数据源。 2. 创建 Flink 执行环境。 3. 读取数据源。 4. 转换数据流，拆分单词并计数。 5. 输出结果到文件或标准输出。 6. 执行任务。 如果你想要运行 Flink WordCount 示例程序，可以按照以下步骤进行： 1. 下载 Flink 并解压。 2. 打开终端并进入 Flink 的安装目录。 3. 运行 `./bin/start-cluster.sh` 启动 Flink 集群。 4. 运行 `./bin/flink run examples/streaming/WordCount.jar --input /path/to/input/file --output /path/to/output/file`。 5. 等待程序执行完成，查看输出结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值