自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(13)
  • 收藏
  • 关注

原创 flink sql 连接kafka avro序列化异常 Malformed data. Length is negative: -25

反序列化 avro格式时候遇到如下问题,原因是flink sql 的数据源DDL的字段定义要和avro的schema定义一致,字段数量,字段类型都要一致。错误的sql正确的写法

2022-07-06 00:30:00 1795 1

原创 flink sql 连接kafka avro序列化异常 Failed to deserialize Avro record ArrayIndexOutOfBoundsException

在使用flinksql 解析复杂avro格式时候,遇到ArrayIndexOutOfBoundsException报错。问题的原因是所有非空字段都需要显示 not null,注意是每个层级的字段。正确写法

2022-07-05 19:50:41 2180

原创 阿里云 flink sql 异常 java.lang.NoSuchMethodError: org.apache.avro.Schema.isNullable()Z

使用kafka Connectors 时候,序列化方式选择avro时候报java.lang.NoSuchMethodError: org.apache.avro.Schema.isNullable()Z解决方式:修改高级配置的引擎版本vvr-4.0.13-flink-1.13修改为vvr-4.0.8-flink-1.13

2022-06-10 18:01:52 636

原创 ClassLoader 双亲委派机制

看了挺多双亲委派机制的博客,但是看完就容易忘掉,所以自己调试一下类加载的过程,并记录调试过程和结果。1.定位类加载的方法,并打断点记录观察加载类SampleTomcatApplication.class(自己随意找一个类观察)的加载过程。当前是AppClassLoader来加载这个SampleTomcatApplication.class。<1> 查找当前类加载器是否已加载过此SampleTomcatApplication.class。<2> 如果有父类加载器,调用父类

2022-03-29 22:31:20 426

原创 官方 Nacos Docker 异常 Error response from daemon: manifest for nacos/nacos-server:V2.0.4 not found

Error response from daemon: manifest for nacos/nacos-server:V2.0.4 not found: manifest unknown: manifest unknown

2022-03-21 15:54:03 5251

原创 设计模式 模板模式和策略模式

模板模式和策略模式,有相识的地方,都是通过对钩子方法的调用,来实现一个业务的完整逻辑。所以这里我将两种模式放在一起介绍,比较容易加深对这两种模式的理解。模板模式在模板模式(Template Pattern)中,一个抽象类公开定义了执行它的方法的方式/模板。它的子类可以按需要重写方法实现,但调用将以抽象类中定义的方式进行。这种类型的设计模式属于行为型模式。例子假设我们需要设计两款游戏,他登录账号的方式是一样的,然后开始游戏和结束游戏的行为是不一样的,那么我们可以用模板模式来实现这个逻辑。类图

2022-03-19 21:26:29 4131

原创 flink官方示例分析-基于 DataStream API 实现欺诈检测

看到这篇文章,应该都是看过flink官网的官方示例,这里就不作详细解释,只对其中的代码细节补充个人理解。如果还没看过,可以先看官方示例。官方示例apipom文件 <properties> <java.version>1.8</java.version> <flink.version>1.12.0</flink.version> <scala.binary.version>2.

2022-03-09 21:54:49 3191

原创 设计模式 工厂方法模式

定义Define an interface for creating an object,but let subclasses decide which class to instantiate.Factory Method lets a class defer instantiation to subclasses.(定义一个创建对象的接口,但让子类决定实例化哪个类。工厂方法允许类将实例化延迟到子类。)我们就以mybatis的sqlsessionFactory为例来讲解类图工厂相关类定义一个

2022-03-05 08:00:00 119

原创 设计模式 单例模式

解释确保一个类只有一个实例,并且自己实例化唯一的一个对象场景当一个对象没有成员变量时候(无状态对象),可以通过单例模式创建当一个对象需要产生较多资源开销的时候,可以用单例模式创建一个对象,让他永久驻留内存最简单的单例模式,可能存在并发问题public class Singleton { private static Singleton singleton = null; //构造函数设置为私有的,限制通过构造函数创建对象 private Singleton() {

2022-03-04 19:00:00 105

原创 easyexcel excel多个title 读取不到第一行数据

问题描述要读取的excel有一行标题+2行记录,读取的结果只读取到第二行记录,第一行记录没有读取到,也没有进入到 onException断点跟踪invokeHeadMap(解析头数据)这个方法进来了两次,把第一行的记录也解析成标题行,触发条件excel 存在多个title解决方法添加 headRowNumber(1),指定标题行的行数...

2022-01-13 19:00:00 3667

原创 Stream 分组 groupby 后多个聚合字段 groupby mapping reducing

假设有一张学生表班级 姓名 性别 年龄 1 李敏 女 16 1 李明 男 15 1 李铭 女 14 2 李民 男 14 需要统计每个班级男生和女生的数量,以及平均年龄班级 男生数量 女生数量 平均年龄 1 1 2 15 2 1 0 14 定义两个类,一个是原始数据表类,另一个是分组后的类public class Sourc

2022-01-13 10:25:33 2352

原创 记录一次spring项目的性能优化(mybatis 一级缓存 ,BeanUtils 导致) 辅助工具 arthas

想了解arthas的访问这个网站https://arthas.aliyun.com/doc/1 通过arthas 的 trace 命令监控接口调用链路上性能开销发现是366行查询poaList接口一次请求需要5398毫秒。再次监控poaList链路信息后发现是BeanCopyUtils时候进行克隆时候消耗时间比较长(这里有2w多条数据进行克隆)。接着继续监控BeanCopyUtils 之后得出结论,是apach BeanUtils 的克隆较低,后面 换成cglib 的 BeanCopi.

2021-09-02 15:02:37 289

原创 mybatisPlus 自定义sqlSessionFactory sql注入器失效 Invalid bound statement (not found): insertBatchSomeColumn

这是重写后的sqlsessionFactory @Bean("sqlSessionFactory") public SqlSessionFactory sqlSessionFactory() throws Exception { MybatisSqlSessionFactoryBean sqlSessionFactory = new MybatisSqlSessionFactoryBean(); sqlSessionFactory.setDataSource(mul

2021-07-09 17:05:29 5105 3

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除