Flink local模式运行SocketWordcount

最新推荐文章于 2024-08-06 10:35:08 发布
最新推荐文章于 2024-08-06 10:35:08 发布
阅读量3.1k 收藏 1
点赞数 1
分类专栏： flink 文章标签： flash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Nougats/article/details/73065645
版权
本文档介绍了如何在Flink的local模式下启动并运行SocketWordcount程序。首先，通过查看启动日志确保Flink正确启动。接着，利用netcat开启本地服务器来产生数据。随后，提交Flink作业，该作业将连接到socket并监听输入。处理后的结果会被追加到.out文件中。最后，可以通过8081端口查看Flink的UI界面。示例代码采用Scala编写。
摘要由CSDN通过智能技术生成

local模式启动flink

./bin/start-local.sh

查看启动日志

tail log/flink-*-jobmanager-*.log

启动netcat作为本地服务器生产数据

nc -l 9000

这里写图片描述

提交flink程序，该程序会连接socket，等待输入数据

./bin/flink run examples/streaming/SocketWindowWordCount.
最低0.47元/天 解锁文章
Nougats
关注
专栏目录
《第一篇》快学Flink-实时读取socket
huzechen的博客
03-28 1084
准备环境 idea开发工具 创建项目 选择mavn 创建项目名称 添加pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins...
流批一体计算引擎-3-[Flink]的本地模式Local和standalone模式
qq_20466211的博客
07-22 1588
flink的安装
flink 本地_Flink：本地执行(Local Execution)
weixin_39886547的博客
12-22 909
本地环境和执行器(executors)运行你在本地的Java虚拟机上运行Flink程序，或者是在属于正在运行程序的如何Java虚拟机上。对于大部分示例程序而言，你只需简单的地点击你IDE上的运行(Run)按钮就可以执行。Flink支持两种不同的本地执行模式：(1)、LocalExecutionEnvironment启动了Flink完整的运行环境，包括一个JobManager和一个TaskManag...
【Flink】初识 Flink，来一起做个 WordCount！
最新发布
JIE的博客 --- moon_coder
08-06 687
Apache Flink 是一个开源的流处理框架，专为分布式、高性能、随时可用且准确的流处理应用程序而设计。它提供了丰富的状态管理功能和事件时间支持，能够确保精确一次的计算语义，非常适合构建可扩展的ETL、数据分析和事件驱动的流式应用程序。Flink 能够处理无界和有界数据流，并且能够运行在各种集群资源管理器上，如 YARN、Mesos 和 Kubernetes，同时也支持裸机集群部署。有界数据集指的是数据量是有限的、已知的，并且可以在某个时间点完全获取或处理的数据集合。
Flink完成Socketwordcount 本机测试与提交集群
weixin_43038752的博客
01-11 703
一、任务简述 本次实验是基础的Flink应用构建，运行代码是分布式计算领域的“Hello world”——“wordcount”。 具体内容是通过netcat在指定端口发布信息，由Flink应用程序对端口进行监听，在一定的时间窗口内接收数据并进行相应的词频率统计。实验代码地址[Link] 二、实验环境 主机： OS：Linux Manjaro java：openjdk1.8 scala：2.11.11 Maven：3.6.3（不重要） IDEA:2020-3（不重要） ———————————————————
Flink本地模式简易安装和运行
Blossom
03-14 6530
环境要求 如果是编译安装需要maven，这里是直接使用编译好的二进制文件进行解压安装，因此只需要jdk1.8即可。 jdk1.8 maven 下载安装 1. 从下载地址：https://flink.apache.org/downloads.html，下载相应版本的Flink安装文件进行解压。Flink版本中包含了匹配的hadoop的版本和scala的版本，为以后的YARN模式的安装做准备（...
Flink开启本地运行环境
cts618
05-30 249
// Flink 开启本地运行环境 object Demo002 { def main(args: Array[String]): Unit = { val con: Configuration = new Configuration() con.setLong("hadoop102",9999) val env: StreamExecutionEnvironment = StreamExecutionEnvironment.createLocalEnvironmentWith.
Flink Local环境部署
tx2976273659的博客
11-02 509
Flink Local环境部署
Flink学习笔记02：Flink三种运行模式
howard2005的专栏
03-23 2641
Flink Local 模式、Flink Standalone 模式、Flink on Yarn 模式
【Flink】【第三章 Flink运行模式】 Flink on Yarn
weixin_43589563的博客
01-11 3657
Yarn模式 在yarn模式下，启动flink集群之前要启动yarn和hadoop 以Yarn模式部署Flink任务时，要求Flink有Hadoop支持的版本。Flink1.10要求Hadoop环境需要保证版本在2.2以上，并且集群中安装有HDFS服务。 yarn模式，将flink集群部署在yarn集群上，用yarn的ResourceManager负责flink集群的资源调度。 1.Flink on Yarn的两种模式说明 Flink on yarn有两种运行模式：Session-Cluster和Per
flink 本地_flink本地模式简单入门-Go语言中文社区
weixin_39963523的博客
12-22 1497
一 本地模式flink 可以运行在 linux，mac os 和 windows上，flink需要工作在 java8以上得版本。window的用户，请参照 flink on windows的文档操作下面是 我 虚拟机 的环境 及 JAVA 环境变量[root@localhost bin]# cat /etc/redhat-releaseCentOS Linux release 7.5.1804 ...
Apache Flink：使用本地的Flink方式执行作业(调试使用)
编程学习者的博客
05-23 8489
1.声明 当前内容主要为本人测试和使用Apache Flink,采用本地的方式完成Flink的基本作业(非远程打包jar提交任务) 当前内容参考：Apache Flink官方文档 当前内容为： 本地运行方式运行任务 读取文本文件并打印出来 操作集合数据 2.基本pom依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.versi
【flink学习笔记】【2】本地模式-流处理wordcount
qq_40273172的博客
03-22 2701
文章目录一、有界流wordcount一、无界流wordcount 一、有界流wordcount package com.shinho.wc; import org.apache.flink.api.common.typeinfo.Types; import org.apache.flink.api.java.tuple.Tuple; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.da
Flink入门（一）本地执行workcount
baifanwudi的专栏
05-09 1474
本地执行Flink demo 开发工具IDEA maven配置 &amp;amp;lt;properties&amp;amp;gt; &amp;amp;lt;project.build.sourceEncoding&amp;amp;gt;UTF-8&amp;amp;lt;/project.build.sourceEncoding&amp;amp;gt; &amp;amp;lt;project.
【基础篇】四、本地部署Flink
llg___的博客
10-12 2198
独立部署就是独立运行，即Flink自己管理Flink资源，不依靠任何外部的资源管理平台，比如K8S或者Hadoop的Yarn，当然，独立部署的代价就是：如果资源不足，或者出现故障，没有自动扩展或重分配资源的保证，必须手动处理，生产环境或者作业量大的场景下不建议采用独立部署。应用模式与单作业模式，都是提交作业之后才创建集群，不同的时，单作业模式是通过客户端来提交的，客户端解析出的每一个作业对应一个集群，而应用模式下，是直接由JobManaget执行应用程序的。
Flink学习（1）：Flink本地模式安装及简单试用
邢慧鹏的博客
12-01 2189
Flink 的本地模式安装及简单试用，基本参照官网教程进行。
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
积跬步，至千里。
09-22 3769
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。
flink接收消息存到服务器,Flink1.8入门：入门实例--流处理SocketWordCount（界面提交+参数传递）...
weixin_39619433的博客
08-06 280
概述：这里主要演示flink源码实例中“WordCount”程序的流窗口版本。此程序连接到socket服务器并从socket读取字符串。最简单的尝试方法是打开一个文本服务器(在端口9999)，使用netcat工具详解界面提交和参数传递，代码很简单可直接从github中获取：https://github.com/apache/flink/blob/master/flink-examples/flin...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值