Flink开发总结
记录学习和工作之中遇到的一些问题以及解决办法!!
供自己今后学习和大家参考.
大数据langlang
大数据中的小学僧!!!
展开
-
[Flink开发总结]Could not parse type at position 11: <KEYWORD> expected but was <LIST_SEPARATOR>.
错误:Caused by: org.apache.flink.table.api.ValidationException: Error in data type hint annotation.Caused by: org.apache.flink.table.api.ValidationException: Could not parse type at position 11: <KEYWORD> expected but was <LIST_SEPARATOR>.错误原创 2021-12-03 16:46:53 · 686 阅读 · 0 评论 -
[Flink开发总结]反射在flink中的使用.
flink代码中使用反射的目的:1.获取pojo的所有属性字段,用于拼接sql语句.反射常用三种方式: 获取class对象的三种方法: 1.class.forName(...) 2.类名.class 3.对象.getClass代码案例: Field[] fields = tClass.getDeclaredFields(); //拼接属性名 String cs = ""; String wh = ""; fo原创 2021-12-01 23:02:30 · 1436 阅读 · 0 评论 -
[Flink开发总结]java.lang.IllegalArgumentException: Cannot format given Object as a Date
错误:java.lang.IllegalArgumentException: Cannot format given Object as a Date源码:firstVisitState = getRuntimeContext().getState(new ValueStateDescriptor<String>("firstVisitState", String.class));sdf = new SimpleDateFormat("yyyy-MM-dd");//状态中保存的是原创 2021-11-30 20:55:25 · 1781 阅读 · 0 评论 -
[Flink错误总结]java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat
错误:java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat错误分析:NoClassDefFoundError 这种类型的错误一般就只有以下两种原因:1.这个jar包确实没有。导入。2.依赖包有冲突。导致无法加载。这个冲突的包,有可能是这个找不到类所属的jar包。 也有可能是函数调用时,其他类的所属jar包冲突了。此处我已经把phoenix的依赖导入了,所以这应该是phoenix的依赖和hado原创 2021-11-27 16:41:05 · 3165 阅读 · 0 评论 -
[Flink错误总结]PhoenixParserException:ERROR 602 (42P00): Syntax error. Missing “EOF“
错误:org.apache.phoenix.exception.PhoenixParserException: ERROR 602 (42P00): Syntax error. Missing “EOF” at line 1, column 36.源码如下:public class DimUtil { public static JSONObject readDimFromPhoenix(Connection conn, String tableName, Long id) {原创 2021-11-26 21:30:33 · 2198 阅读 · 0 评论 -
[Java开发总结]正则表达式学习总结.(以下知识点几乎满足日常使用的所有需求)
代码总结:package com.atguigu.chapter13;import java.util.Arrays;public class RegExpDemo { /*正则表达式: Regular expression贪官 字符串 "123456"法律 正则表达式 \\d+Pattern 表示正则表达式, 经过编译得到正则表达式Matcher 匹配器-----java在字符串提供了四个方法, 直接支持正则表达式原创 2021-11-25 15:50:52 · 180 阅读 · 1 评论 -
[Flink错误总结]java.lang.NullPointerException: Keyed state can only be used on a ‘keyed stream‘
错误:java.lang.NullPointerException: Keyed state can only be used on a 'keyed stream', i.e., after a 'keyBy()' operation.原因:未知解决方法:还未解决原创 2021-11-25 15:14:35 · 3513 阅读 · 0 评论 -
[Flink错误]SQL parse failed. Non-query expression encountered in illegal context
错误源代码如下:tenv .sqlQuery("select" + "hop_start(et, interval '1' hour,interval '3' hour) stt, " + "hop_end(et, interval '1' hour,interval '3' hour) edt, " + "itemId, " +原创 2021-11-22 23:21:29 · 10618 阅读 · 0 评论 -
[Flink错误]The transaction timeout is larger than the maximum value allowed by the broker
错误分析:报错信息如下:The transaction timeout is larger than the maximum value allowed by the broker (as configured by transaction.max.timeout.ms).官网解释如下:flink官网解释默认情况下,Kafka broker 将 transaction.max.timeout.ms 设置为 15 分钟。此属性不允许为大于其值的 producer 设置事务超时时间。 默认情况下,Fl原创 2021-11-18 16:24:43 · 4483 阅读 · 0 评论 -
[Flink开发总结]Tuple2<Integer, Long> TreeSet<HotItem>的类型怎么获取?
问题:在Aggregate状态获取时,为了方便起见可以将聚合函数简化为Tuple2<Integer, Long>类型,但是Tuple2<Integer, Long>的类型如何表示呢?解决:表示方式如下: Types.TUPLE(Types.INT, Types.LONG)Aggregate代码如下 private AggregatingState<WaterSensor, Double> vcAvgState; /原创 2021-11-17 21:31:33 · 1164 阅读 · 0 评论 -
[Java开发]public static <T> List<T> toList(Iterable<T> it)为什么前面需要加<T>?
问题:为什么需要,作用是什么?代码如下://即:<T> List<T> 中,第一个T是告诉大家,T不是类T.class,而是泛型T(如果只写List<T>则编译器以为是类T.class,如果不存在T.class类,则报错)。 //如果没有<T>,则表示list里面的数据是T类型!!!! public static <T> List<T> toList(Iterable<T> it) {原创 2021-11-16 09:30:16 · 2149 阅读 · 0 评论 -
[Flink错误]Could not determine TypeInformation for the OutputTag type.
报错:Could not determine TypeInformation for the OutputTag type. The most common reason is forgetting to make the OutputTag an anonymous inner class. It is also not possible to use generic type variables with OutputTags, such as ‘Tuple2<A, B>’.原因:找原创 2021-11-16 20:17:25 · 958 阅读 · 0 评论 -
[Flink错误]Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set
报错:Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to 'ProcessingTime', or did you forget to call 'DataStream.assignTimestampsAndWatermarks(...)'?原因:在使用老版的窗口时,未指定时间语义,导致报错.解决:**//需要设置时间语义 env.setS原创 2021-11-15 21:12:07 · 3120 阅读 · 2 评论 -
[Flink错误总结]flink起不来--> Deployment took more than 60 seconds. Please check if the requested resources
原因:资源不足-->因为配置了HA 但是未开启zookeeper,所以没有资源可以调用,导致启动失败解决办法-->启动zk即可 zk.sh start原创 2021-11-08 18:26:55 · 3810 阅读 · 5 评论