Linux上Flink安装及测试

一、下载Flink

1、手动下载Flink

1.1、官网下载:Flink安装包下载.
在这里插入图片描述
2.将flink安装包上传至linux
较为基础 上传方式略过
3.解压压缩包
在这里插入图片描述
3.1解压成功
在这里插入图片描述
4.启动kafka
在这里插入图片描述
进入kafka的bin目录
启动kafka:

start-cluster.sh

4.1查看是否启动成功
在这里插入图片描述
5.centos开放flink默认端口(8081) 修改iptables
进入配置iptables:

vi /etc/sysconfig/iptables

增加:

A INPUT -m state --state NEW -m tcp -p tcp --dport 8081 -j ACCEPT

在这里插入图片描述
5.1访问ui界面

http://192.168.100.201:8081/#/overview

ip地址可以根据自己服务器的ip更改
在这里插入图片描述
6.使用Flink跑一个简单的wordcount
6.1在同一个节点下复制三个会话窗口
在这里插入图片描述
6.2在第一个窗口打开一个终端(端口号随意指定)
在这里插入图片描述
命令:

nc -lk 9000

6.3到存放wordcoun的jar包下开启并指定9000端口(注意要与第一个会话窗口的端口一致)
在这里插入图片描述
命令:

进入flink:
cd /export/servers/flink-1.8.0/
运行wordcount  jar包并指定端口:
bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

6.4打开第三个会话窗口
6.4.1进入flink的log目录
命令:

cd /export/servers/flink-1.8.0/log/

在这里插入图片描述
动态查看文件内容更新变化(可能是其他输出文件):
命令:

tail -f  flink-root-taskexecutor-0-node01.out

7.在第一个会话窗口随便输入内容
在这里插入图片描述
接着查看第三个窗口的文件内容
在这里插入图片描述
可以看出通过wordcount后已经对输入的内容进行了单词统计。
当然你也可以在ui界面查看当前运行任务:
在这里插入图片描述
结!

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
好的,下面是 Flink 入门例子的环境搭建、编码和测试步骤: 1. 环境搭建 首先,您需要下载并安装 Flink。您可以在 Flink 官方网站(https://flink.apache.org/)下载 Flink 的最新版本。下载完成后,解压缩文件并将其放在您喜欢的目录下。 然后,您需要设置 Flink 的环境变量。在 Linux 或 macOS 上,您可以将以下代码添加到您的 .bashrc 文件中: ```bash export FLINK_HOME=/path/to/your/flink export PATH=$FLINK_HOME/bin:$PATH ``` 在 Windows 上,您可以在系统属性中设置环境变量。 2. 编码 接下来,您需要创建一个新的 Java 项目。您可以使用 Maven、Gradle 或其他构建工具来创建项目。本例使用 Maven。 首先,创建一个名为 WordCount 的 Maven 项目: ```bash mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeVersion=1.13.0 ``` 在创建项目的过程中,您需要提供一些信息,例如项目的 GroupId、ArtifactId 和版本号。 然后,打开 WordCount/src/main/java/com/example/WordCount.java 文件,并将其替换为以下代码: ```java package com.example; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.util.Collector; public class WordCount { public static void main(String[] args) throws Exception { final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); // 读取文本文件 DataSet<String> text = env.readTextFile("path/to/your/file"); // 对每行文本进行单词拆分并计数 DataSet<Tuple2<String, Integer>> counts = text.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() { private static final long serialVersionUID = 1L; @Override public void flatMap(String value, Collector<Tuple2<String, Integer>> out) { for (String word : value.split("\\s")) { out.collect(new Tuple2<>(word, 1)); } } }).groupBy(0).sum(1); // 输出计数结果 counts.print(); } } ``` 请注意,您需要将“path/to/your/file”替换为您要读取的文本文件的路径。 3. 测试 最后,您可以使用以下命令来编译和运行 WordCount 项目: ```bash mvn clean package flink run target/wordcount-1.0-SNAPSHOT.jar ``` 这将编译 WordCount 项目并将其打包成一个名为 wordcount-1.0-SNAPSHOT.jar 的 JAR 文件。然后,您可以使用 Flink 运行此 JAR 文件。 如果一切顺利,您应该能够看到类似以下内容的输出: ```bash (Hello,2) (World,1) ``` 这表明“Hello”出现了2次,“World”出现了1次。 至此,您已经成功地完成了 Flink 入门例子的环境搭建、编码和测试
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值