flink系列2 wordcount测试(windows)

最新推荐文章于 2024-04-09 23:42:53 发布
最新推荐文章于 2024-04-09 23:42:53 发布
阅读量2.2k 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dataastron/article/details/79035422
版权
本文档介绍了如何在Windows环境下进行Apache Flink的快速入门，包括准备Netcat工具、安装Java、下载并解压Flink 1.4.0、启动Flink本地模式，以及通过命令行提交WordCount任务。后续内容将补充通过Web界面提交JAR包的步骤。
摘要由CSDN通过智能技术生成

参考文档
https://ci.apache.org/projects/flink/flink-docs-master/quickstart/setup_quickstart.html

windows上测试，linux上2017年4月的存档中有
1、准备工具。在百度或者google上搜索netcat-win32-1.11.zip。
运行nc64 -l -p 9099。启动监听程序

2、安装java

java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)

3、下载最新的flink1.4.0版本
解压
D:\flink-1.4.0-bin-hadoop27-scala_2.11\flink-1.4.0

4、启动flink的本地模式

最低0.47元/天 解锁文章
dataastron
关注
专栏目录
【调研】FlinkSql功能测试及实战演练
遇事不决问春风
05-12 1365
FlinkSql功能测试及实战演练 前言：Flink在国内的占有率逐步提升的情况下，各项组件的功能与稳定性也得到逐步提升。为了解决目前已有的复杂需求，尝试研究flinksql的特性与功能，作为是否引入该组件的依据。同时尝试将现有需求通过简单demo的形式进行测试。本次测试主要集中在Kafka、mysql、Impala三个组件上，同时将结合官方文档进行： https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/ 1 前期准备 1.1 环
在 Windows 搭建 flink 运行环境并模拟流数据处理
明而决之
07-24 1747
在大数据场景中，开发者追求高效与灵活，Linux 系统以其稳定性成为众多组件的首选，但在资源有限的情况下，在本机搭建一个 Linux 虚拟机集群却显得过于笨重，启动、运行占资源，需要配置网络，无法和windows共享资源，尤其是对只有 8GB 内存的 Windows 系统用户来说，内存压力显而易见。尽管如此，也挡不住一个学习者的“热情”。本文介绍怎么在 Windows 本地搭建 Flink 环境，注意这是一个伪分布式的测试环境。
用Flink测试WordCount案例
知其然，知其所以然
01-17 1837
一 ./bin/flink run -m bigdata115:8081 ./examples/batch/WordCount.jar --input /usr/local/cc.txt [root@bigdata115 flink-1.6.2]# ./bin/flink run -m bigdata115:8081 ./examples/batch/WordCount.jar --in...
Flink 第一个小程序WordCount 运行测试
yanziyu0721730的博客
01-26 233
上传jar包到flink上 在flink的安装包里有这个小程序的jar 1.开启监听窗口 nc -l 9001 2.上传jar包 并且配置参数 3.submit提交 4.查看结果
Flink的安装部署及WordCount测试
weixin_45399602的博客
09-19 2469
一、本地模式 在本地以多线程的方式模拟Flink中的多个角色。(开发环境不用) 下载地址：https://flink.apache.org/downloads.html 这里下载的是：flink-1.13.0-bin-scala_2.12.tgz 上传到常用的位置，然后解压。 启动： 切换到flink的bin目录下，执行./start-cluster.sh，然后查看进程。 二、Standalone 独立集群模式 (如果先做了第一步，记得先停止服务，stop-cluster.sh) 上传、解压tar包。
Flink单元测试
04-25 4231
Flink单元测试 为什么做单元测试 通常情况下，我们只能假设函数在用户定义的输出下会产生对应的结果。因此我们推荐使用单元测试对写有逻辑的Function进行测试，且测试数据和场景越多越好。 Flink单元测试支持 Flink会在本地启动一个mini cluster resource，以此支持单元测试的运行。 maven依赖 <dependency> <groupId>...
flink任务提交&wordcount
qwert123009的博客
07-11 1685
flink wordcount & standalone模式的 任务提交
flink+kafka实现wordcount实时计算+错误解决方案
xiaoyutongxue6的博客
03-28 627
1. Flink Flink介绍： Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已。再换句话说，Flink 会把所有任务当成流来处理，这也是其最大的特点。Flink 可以支持本地的快速迭代，以及一些环形的迭代任务。 Flink的...
Flink | 入门实践WordCount
俗人
06-11 368
开发Flink程序有固定的流程？ 1、获取执行环境 2、加载/创建初始化数据源 3、指定操作是数据的转换算子 4、指定计算好的数据存放位置(Sink) 5、调用execute()触发执行程序 注意: Flink程序也是延迟计算的， 只有最后调用execute()时才会真正触发执行程序 Scala基于Flink 批处理实现WordCount，如下： object SocketWordCount { def main(args: Array[String]): Unit = { .
day1：wordcount测试flink批处理环境、流处理环境
m0_74188229的博客
04-09 399
用wordcount测试flink批处理和流处理环境
flink cep 性能测试
poq_pow的专栏
05-04 4517
说明：测试flink-cep的性能，采用控制变量法。 其中在Flink Stream上控制的变量为： restartAttempt：尝试恢复的次数 checkpoint：多长对数据做一次checkpoint StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.
一、Flink基础 之 wordcount
Java_Road_Far的博客
04-13 366
文章目录一、搭建maven工程1.1 pom 文件1.2 添加scala框架 和 scala文件夹1.3 批处理wordcount1.4 流处理 wordcount 一、搭建maven工程 1.1 pom 文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4...
java Flink（十五）Flink单元测试 在Flink中进行单元测试 map、flatmap、状态、计时器等测试
qq_40771567的博客
04-26 2732
今天记录一下flink单元测试的编写 flink中的单元测试模块也是基于JUnit来实现的，本文主要介绍部分方法用来测试flink中的富函数、状态函数（例如process）以及最简单的map、flatmap等 基本的JUnit操作建议百度学习。 首先回顾一下这几种flink函数 map是最基本的流操作，每次进来的流数据都会进行操作。 flatmap是可以有选择的进行操作、输出 输出需要用到Collector 状态函数例如process函数里边需要用到状态 状态用来保存之前的数据或者更新信息.
Flink 快速上手——流式数据测试
chaohui2638457321的博客
01-21 760
2.3 流式数据源测试 通过nc -Lp <port>打开一个socket服务，用于模拟实时的流数据 nc -Lp 7777 代码修改inputStream的部分 package com.zch.flink; ​ import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.api.java.utils.ParameterTool; import org.apache.flink.stre
Flink官方文档笔记09 Flink功能测试集合
大数据流浪法师的学习笔记与分享
07-25 723
文章目录Flink Operations Playground==Anatomy==（解剖） of this PlaygroundStarting the PlaygroundLogsFlink CLIFlink REST APIKafka TopicsTime to Play!Listing Running JobsObserving Failure & RecoveryUpgrading & Rescaling a JobQuerying the Metrics of a Job==Va
flink安装与基础测试
u013008898的博客
09-04 989
3.下载完成后修改flink目录的所属用户和所属组,防止出现could not start the JobMaster问题。6.可以在浏览器输入 localhost:8081 以访问其 web UI 界面。1.下载flink-1.13.6-bin-scala_2.11.tgz。7.提交测试案例,测试flink是否运行正常。为了方便将解压后的文件夹名称改为flink。5.使用jps查询flink是否正常启动。4.进入到bin目录执行。
Flink单元测试用法讲解
fan_yi_bo的博客
05-10 2659
本文根据flink官方提供的测试方法进行编写，重点在于展示如何实现Flink任务的单元测试。 测试是每个软件开发过程中不可或缺的一部分，单元测试的好处有很多，比如： 确保单个方法正常运行； 如果修改了方法代码，只需确保其对应的单元测试通过； 测试代码本身就可以作为示例代码； 可以自动化运行所有的测试并获得分析报告。 除上述好处之外，其本身也是规范化流程的一部分。那咱废话不多说，进入正题 测试用户自定义函数 对无状态、无时间限制的UDF进行单元测试 我们以两个无状态的MapFunction和FlatM
利用flink自身的WordCount.jar包本地测试
最新发布
09-11
Flink自身的WordCount.jar包是一个经典的Apache Flink示例程序，用于统计输入文本文件中单词的频率。要在本地进行测试，你需要按照以下步骤操作： 1. **下载并理解WordCount.jar**：首先从Flink官方GitHub仓库下载...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值