![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
羲凡丞相
get busy living ,or get busy dying
展开
-
Flink 窗口函数处理数据(Watermark和SideOutput)
@羲凡——只为了更好的活着Flink 窗口函数处理数据(Watermark和SideOutput)统计过去5分钟内的一些数据是流处理中最常见的一种模式。这就涉及到经典的一个问题——数据延迟或乱序怎么办?Flink,针对数据延迟或乱序有几个重要的解决思路,1.添加水位线Watermark2.推迟关闭窗口时间3.超时数据的side输出下面的例子是,统计10s内的数据,水位线位2s,窗口再延迟4s关闭,最后超时数据side输出1.直接上代码package flink.window;impor原创 2020-06-18 17:15:20 · 658 阅读 · 0 评论 -
Flink logback日志配置
@羲凡——只为了更好的活着Flink logback日志配置1.将flink的lib目录下log4j-1.2.17.jar , slf4j-log4j12-1.7.15.jar 移除(可以备份至别的目录下)2.在lib目录添加下面四个jar包log4j-over-slf4j-1.7.9.jar (https://repo1.maven.org/maven2/org/slf4j/)logback-access-1.2.3.jar,logback-classic-1.2.3.jar,logback-原创 2020-06-04 14:44:45 · 2299 阅读 · 0 评论 -
Java 发送post请求
@羲凡——只为了更好的活着Java 发送post请求import com.alibaba.fastjson.JSONObject;import org.apache.commons.httpclient.HttpClient;import org.apache.commons.httpclient.HttpStatus;import org.apache.commons.httpclie...原创 2020-04-27 17:44:16 · 494 阅读 · 2 评论 -
Flink DateStream或DateSet与Table相互转换(Java)
@羲凡——只为了更好的活着Flink DateStream或DateSet与Table相互转换一.前提准备1.安装好flink,我使用的是Flink1.7.22.pom.xml文件中要添加依赖我们公司用的版本有点旧,是es5,如果你的不是,你一定要查找对应版本的依赖<dependency> <groupId>org.apache.flink</gr...原创 2020-03-04 15:29:29 · 1685 阅读 · 2 评论 -
踩坑——Flink报错 找不到org.apache.flink.streaming.api.scala.StreamExecutionEnvironment的类文件
@羲凡——只为了更好的活着踩坑——Flink报错 找不到org.apache.flink.streaming.api.scala.StreamExecutionEnvironment的类文件一.问题背景新建一个项目,准备用java写flinktable,发现报错如下Error:(20, 58) java: 无法访问org.apache.flink.streaming.api.scala.S...原创 2020-02-27 11:48:51 · 13591 阅读 · 1 评论 -
Flink 批处理——多文件写入hdfs(Java)
@羲凡——只为了更好的活着Flink 批处理——多文件写入hdfs(Java)0.本文解决哪种问题假如你有5000个门店甚至更多,产品需要你将每个门店的数据都写成一个文件且以门店命名,这意味着你要写5000或更多的文件,如果你直接用flink批处理writeAsText算子要么报错,要么特别慢,如果报错 Cannot currently handle nodes with more tha...原创 2020-02-22 21:25:24 · 2134 阅读 · 0 评论 -
踩坑——Flink报错 Cannot currently handle nodes with more than 64 outputs.
@羲凡——只为了更好的活着踩坑——Flink报错 java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.HTable.getTableName()[B一.问题背景一开始公司用cm5安装的hadoop2.0集群(Hbase是1.2.0版本),有个需求我用代码已经写好了,但是在快上线的时候决定用cm6安装的hadoop3.0(Hb...原创 2020-01-22 14:10:58 · 1237 阅读 · 2 评论 -
Flink 消费kafka数据写入elasticsearch
@羲凡——只为了更好的活着Flink 消费kafka数据写入elasticsearch一.前提准备1.安装上elasticsearch和kibana,如果不会安装的可以点击下面链接查看安装elasticsearch安装kibana2.pom.xml文件中要添加依赖我们公司用的版本有点旧,是es5,如果你的不是,你一定要查找对应版本的依赖<dependency> ...原创 2019-11-25 10:46:45 · 1262 阅读 · 0 评论 -
Flink 消费kafka数据写入hbase
@羲凡——只为了更好的活着Flink 消费kafka数据写入hbase一.前提准备1.创建Hbase表create 'test_20191122','info'2.pom.xml文件中要添加依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-cli...原创 2019-11-22 10:48:35 · 3641 阅读 · 5 评论 -
Flink HA模式安装(Standalone和Yarn)——flink1.7.2
@羲凡——只为了更好的活着Flink HA模式安装(Standalone和Yarn)——flink1.7.2flink是一个大数据开发人员必须会的组件,现在无论大小公司都在搞,所以安装是第一步。0.安装Java1.8的环境(不赘述)1.下载安装包下载官网:https://flink.apache.org/downloads.html也可以直接下面点击下面链接下载:http://mir...原创 2019-11-01 10:29:54 · 916 阅读 · 2 评论 -
Flink 读写mysql(Java)——批处理
@羲凡——只为了更好的活着Flink 读写mysql(Java)——批处理1.前期准备a.添加maven依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-jdbc_2.12</artifactId> <version>${fl...原创 2019-10-14 18:02:57 · 3108 阅读 · 4 评论