- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hudi-0.13.1编译-解决编译的jar，flink不能同步到hive
类文件具有错误的版本 55.0, 应为 52.0，flink1.16需要用jdk11编译，我的环境是1.8。2.flink中已经解决，因我的项目中主要实用flink，但为了后续可能会用到spark，还是改了过来。修改DATE、TIMESTAMP、INT三处，使用hive3在未修改的情况下，编译时会报错。我测试使用的是COW表，直接生成parquet表，方便hive查询。编译过程中报错， 我将hudi-flink1.16.x的模块删掉。编译成功后，avro文件生成的代码报错。
2023-07-04 09:30:13
482
1
原创 记录一次datax的hdfswriter插件报错
背景：因orc的存储格式引起的问题相对来说较多，所以公司决定所有的表都采用parquet格式，因为datax插件需要增加parquet格式的支持。最终定位的问题是由于配置文件中配置的字段大写引起的，我们公司生成的datax的配置文件，都是大写，最终导致问题的发生。福利来了，附改造写入parquet格式的代码，主要修改了两处，根据各自需求进行修改即可。定位问题就好解决了，再获取类型的时候直接给转成小写。
2023-04-14 15:45:06
2242
1
原创 说说datax的那些事-关于同步oracle中xmlType类型的问题
由于datax不支持xmlType字段的，最开始同步oracle中xmlType字段的时候，采用的是在同步的时候，通过oracle函数进行转化完成同步。起初的时候没有很注意，速度很慢，就简简单单的认为是xmlType存储的数据过大引起的。2. 后来实在是太慢了，开始跟同事查原因：发现是oracle中SQL通过这个getclobval转化的速度很慢，怎么办呢，只能放弃这个方案，但是由于datax又不支持，只好改动源码来满足这个需求。增加了Types.SQLXML的类型。
2022-09-06 15:26:14
954
原创 java里的final
4. final修饰的局部变量，一旦赋值将不可以改变。3. final修饰的成员变量必须初始化。2. final修饰的方法不能被重写。1. final修饰的类不能被继承。
2022-08-10 17:54:46
369
nacos-2.0.4相关依赖的jar包(nacos-config,nacos-istio,nacos-naming等)
2022-08-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人