二、基于java的flink实践

最新推荐文章于 2024-05-05 18:39:04 发布
最新推荐文章于 2024-05-05 18:39:04 发布
阅读量503 收藏
点赞数
分类专栏： flink 文章标签： java flink scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36723038/article/details/115263970
版权

+、版本

版本很重要
flink-1.11.3-bin-scala_2.11_recommend.tgz

+、配置 conf/flink-conf.yaml

1、web工作台
rest.address: 0.0.0.0
rest.port: 8081

2、集群
jobmanager.rpc.address: 0.0.0.0
jobmanager.rpc.port: 6123

+、启动/关闭

./start_cluster.sh
./stop_cluster.sh

+、防火墙

sudo ufw enable
sudo ufw status
sudo ufw allow 8081

+、DataStream

DataStream WordCount
问题1：使用 netcat 命令启动一个端口
windows环境下：nc -lk 9000要改为nc -L -v -p 9000

问题2：尽量使用Java原生的函数，不要过多使用lambda
因为可能会无法判断某个参数的类型，比如Collector​​

问题3： Connection refused: connect，连接拒绝
添加上.keyBy().timeWindow().reduce()函数之导致的

+、POM


<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.office</groupId>
    <artifactId>bigdata-flink-engine</artifactId>
    <packaging>pom</packaging>
    <version>1.0-SNAPSHOT</version>
    <modules>
        <module>flink-engine-demo</module>
        <module>flink-engine-sku</module>
    </modules>


    <properties>
        <encoding>UTF-8</encoding>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <java.version>1.8</java.version>
        <scala.version>2.11</scala.version>
        <scala.binary.version>2.11</scala.binary.version>
        <flink.version>1.11.3</flink.version>
        <maven.version>3.6.1</maven.version>
        <maven.compiler.source>${java.version}</maven.compiler.source>
        <maven.compiler.target>${java.version}</maven.compiler.target>
    </properties>

    <repositories>
        <repository>
            <id>spring</id>
            <url>https://maven.aliyun.com/repository/public</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>true</enabled>
            </snapshots>
        </repository>

        <repository>
            <id>apache</id>
            <url>https://repository.apache.org/content/repositories/snapshots/</url>
        </repository>

        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
    </repositories>

    <dependencies>
        <!-- flink 的依赖项，不应该打包到JRA文件中 -->
        <!-- These dependencies are provided, because they should not be packaged into the JAR file. -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
            <scope>sources</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>sources</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
            <scope>sources</scope>
        </dependency>

        <!-- 执行计划 -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-planner-blink_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table-common</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <!-- flink连接器-->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-sql-connector-kafka_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-csv</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-json</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.bahir</groupId>
            <artifactId>flink-connector-redis_${scala.binary.version}</artifactId>
            <version>1.0</version>
            <exclusions>
                <exclusion>
                    <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>flink-runtime_${scala.binary.version}</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>flink-core</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>flink-java</artifactId>
                    <groupId>org.apache.flink</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hive_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-metastore</artifactId>
            <version>2.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>2.1.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-shaded-hadoop-2-uber</artifactId>
            <version>2.7.5-10.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>2.1.0</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
            <!--<version>8.0.20</version>-->
        </dependency>

        <!-- 高性能异步组件：Vertx-->
        <dependency>
            <groupId>io.vertx</groupId>
            <artifactId>vertx-core</artifactId>
            <version>3.9.0</version>
        </dependency>
        <dependency>
            <groupId>io.vertx</groupId>
            <artifactId>vertx-jdbc-client</artifactId>
            <version>3.9.0</version>
        </dependency>
        <dependency>
            <groupId>io.vertx</groupId>
            <artifactId>vertx-redis-client</artifactId>
            <version>3.9.0</version>
        </dependency>

        <!-- 日志 -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.9</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
            <scope>runtime</scope>
        </dependency>

        <!-- fastjson -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.70</version>
        </dependency>

        <!-- lombok -->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.18.2</version>
            <scope>provided</scope>
        </dependency>

        <!-- 工具库 -->
        <dependency>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-collections4</artifactId>
            <version>4.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.thrift</groupId>
            <artifactId>libfb303</artifactId>
            <version>0.9.3</version>
            <type>pom</type>
            <scope>provided</scope>
        </dependency>
        <dependency>
           <groupId>com.google.guava</groupId>
           <artifactId>guava</artifactId>
           <version>28.2-jre</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <!-- 编译插件 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.5.1</version>
                <configuration>
                    <source>${java.version}</source>
                    <target>${java.version}</target>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>2.18.1</version>
                <configuration>
                    <useFile>false</useFile>
                    <disableXmlReport>true</disableXmlReport>
                    <includes>
                        <include>**/*Test.*</include>
                        <include>**/*Suite.*</include>
                    </includes>
                </configuration>
            </plugin>

            <!-- 打包插件(会包含所有依赖) -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <!-- zip -d learn_spark.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF -->
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <transformers>
                                <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <!-- 设置jar包的入口类(可选) -->
                                    <mainClass>com.office.flink.demo.WordCount</mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

        </plugins>
    </build>

</project>

+、JAVA

package com.office.flink.demo;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.operators.AggregateOperator;
import org.apache.flink.api.java.operators.UnsortedGrouping;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;

/**
 * 主函数
 *
 * @Author jolejian
 * @Date: 2021/3/27 0027 14:03
 */
public class WordCount {
	
	public static void main(String[] args) throws Exception {
		
		//TODO 0.env
		ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
		//TODO 1.source
		DataSet<String> lines = env.fromElements(
				"itcast hadoop spark",
				"itcast hadoop spark",
				"itcast hadoop",
				"itcast"
		);
		
		//TODO 2.transformation 切割
		DataSet<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
			@Override
			public void flatMap(String value, Collector<String> out) throws Exception {
				//value表示每一行数据
				String[] arr = value.split(" ");
				for (String word : arr) {
					out.collect(word);
				}
			}
		});
		
		//记为1
		DataSet<Tuple2<String, Integer>> wordAndOne = words.map(new MapFunction<String, Tuple2<String, Integer>>() {
			@Override
			public Tuple2<String, Integer> map(String value) throws Exception {
				//value就是每一个单词
				return Tuple2.of(value, 1);
			}
		});
		
		//分组
		UnsortedGrouping<Tuple2<String, Integer>> grouped = wordAndOne.groupBy(0);
		
		//聚合
		AggregateOperator<Tuple2<String, Integer>> result = grouped.sum(1);
		
		//TODO 3.sink
		result.print();
		
		//TODO 4.execute 启动并等待程序结束
//		env.execute();
	}
}
渔老师
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Flink的Java应用程序提供集成能力，通过继承FlinkJobsRunner构建基于Java的Flink流批一体应用程序
06-25
flink-jobs为基于Flink的Java应用程序提供快速集成的能力，可通过继承FlinkJobsRunner快速构建基于Java的Flink流批一体应用程序，实现异构数据库实时同步和ETL。flink-jobs提供了数据源管理模块，通过flink-jobs运行Flink SQL会变得极其简单。使用flink-jobs-clients可以实现基于Java API启动flink-jobs应用程序，还可以将flink任务实现通过XML配置文件来管理
springboot集成flink步骤，及demo
u013558123的博客
06-05 2747
springboot集成flink步骤，及demo
2024年Java最新Apache Flink CEP 实战，阿里P8大牛熬夜撰写的“spring限量宝典”
最新发布
2401_84584873的博客
05-05 1024
下面是示例代码：@Override。
flink fi java_IDEA上运行Flink任务
weixin_39590635的博客
02-26 178
基于apache flink的流处理实时模型44元包邮(需用券)去购买 >欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；IDEA是常用的IDE，我们编写的flink任务代码如果能直接在IDEA运行，会给学习和开发带来很大便利，例如改完代码立...
Flink专题六：Flink 中并行度的概念及使用
beyond的博客
03-24 2904
由于工作需要最近学习flink 现记录下Flink介绍和实际使用过程 这是flink系列的第六篇文章 Flink 中并行度的概念及使用并行度SlotsSlots概念slot共享并行度的使用方法并行度优先级 并行度 一个任务（Source、Transformation、Sink）的并行实例（线程〉数目称为该任务的并行度 Slots Slots概念 在flink中，把对资源的最小抽象称作slot，可以理解为是资源的最小管理单位，它是TaskManager资源的一个子集。通过slot，flink将资源进行有.
flink java 并行度_Flink并行度优先级_集群操作常用指令_运行组件_任务提交流程_数据流图变化过程...
weixin_39926402的博客
03-04 230
Flink并行度优先级(从高到低)sum(1).setParallelism(1)env.setParallelism(1)ApacheFlinkDashboard任务添加并行度配置flink-conf.yaml并行度配置注: 处理输入输出时, 并行度默认为 1Flink集群常用指令提交任务run: 代表执行; c: 指定入口类; p: 并行度; host, post: 主机地址端口flink r...
java基于flink的营销系统源码.zip
05-18
【标题】"java基于flink的营销系统源码"揭示了这个项目是使用Java编程语言构建的一个营销系统，其核心是利用Apache Flink这一强大的流处理框架。Flink是一个开源的大数据处理系统，专为实时数据流处理而设计，具备低...
java实现flink订阅Kerberos认证的Kafka消息示例源码
04-16
在Java中实现Flink订阅Kerberos认证的Kafka消息是一项关键任务，特别是在处理安全敏感的数据流时。本文将深入探讨这一主题，介绍如何利用Apache Flink与Kafka的集成，以及如何通过Kerberos进行身份验证。 首先，...
基于Java的Flink流批一体数据处理快速集成开发框架设计源码
03-29
这是一个基于Java的Flink流批一体数据处理快速集成...该项目不仅能够快速构建基于Java的Flink流批一体应用程序，实现异构数据库实时同步和ETL，还可以让Flink SQL变得极其简单，适合用于个人学习和实践Java的开发技术。
Flink 实战 - 源码 java 源码demo
03-19
通过对这些Java源码的深入学习和实践，读者不仅可以掌握Flink的基础操作，还能了解到如何在实际项目中应用Flink解决复杂的数据处理问题。同时，配合书籍的理论讲解，能更全面地理解和掌握Flink的精髓，提升大数据...
基于Flink的大数据实施城市交通监控平台.zip
04-28
标题中的“基于Flink的大数据实施城市交通监控平台”揭示了这个项目的核心是利用Apache Flink这一流处理框架，来构建一个大数据驱动的城市交通监控系统。这个系统旨在收集、处理和分析实时的城市交通数据，以优化...
Java fork/join —— 拆分任务并行执行
superSubfn
12-10 1383
从JDK1.7开始，Java提供ForkJoin框架用于并行执行任务，它的思想就是讲一个大任务分割成若干小任务，最终汇总每个小任务的结果得到这个大任务的结果。作为一个并发框架在jdk7的时候就加入到了我们的java并发包java.util.concurrent中，并且在java 8 的lambda并行流中充当着底层框架的角色。
Flink - Java篇
热门推荐
.
02-28 1万+
文章目录前言一、概述1 Flink是什么2 架构分层3 数据处理流水线4 运行组件TaskManagerJobManagerResourceManagerDispatcher5 其他流式计算框架二、入门与使用1 Flink基本安装1.1 Linux1.2 Java1.3 Scala（待补充）1.4 集群模式2 常用API2.1 DataStream 流处理DataSourceTransformationSink示例一：自定义数据源（SourceFunction）示例二：自定义分区示例三：Socket通信示例
Flink(Java版)学习
yk19904的博客
03-06 5186
flink简介等
java Flink（三十六）Flink多流合并算子UNION、CONNECT、CoGroup、Join
qq_40771567的博客
07-22 6059
UNION介绍 DataStream.union()方法将两条或者多条DataStream合并成一条具有与输入流相同类型的输出DataStream. 事件合流的方式为FIFO方式。操作符并不会产生一个特定顺序的事件流。union操作符也不会进行去重。每一个输入事件都被发送到了下一个操作符。 说明： 1.union 合并的流的元素必须是相同的 2.union 可以合并多条流 3.union不去重，合流顺序为先进先出 具体用法： DataStream<Sensor...
JavaFlink原理、实战、源码分析（六）源码部分
qq_36250202的博客
05-31 363
源码部分
JavaFlink原理、实战、源码分析（二）原理部分
qq_36250202的博客
04-13 1006
JavaFlink原理、实战源码分析(一)https://blog.csdn.net/qq_36250202/article/details/112978869 第六章 Flink 中的 Window 主要内容 • window 概念 • window 类型 • window API 6.1 Window 6.1.1 Window 概述 streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而 window 是一种切割.
Java 开发flink流/批处理程序
wqs229342的博客
04-12 4580
Java 开发flink 流/批处理程序 文章目录Java 开发flink 流/批处理程序一、安装`pom`依赖，配置打包插件以及入口类二、编写`Flink`程序三、完整的java代码四、测试 一、安装pom依赖，配置打包插件以及入口类 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org
flink经典实战案例
qq_46447060的博客
08-31 8250
一、java版flink-wordcount-离线计算版 1.1maven构建flink，加入依赖 <!-- flink包依赖配置-start --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${flink.version
基于flink的风电风机实时采集示范
10-09
基于flink的风电风机实时采集示范是一个基于实时数据处理技术的项目，采用了flink和springboot等技术进行开发。本文将从前言、项目说明、架构图、流程图和程序运行环境等方面对该示范进行详细的总结和描述。 一、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值