- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 多个Topic数据入Hudi一张表
在使用hudi自带的原生HoodieDeltaStreamer工具数据入湖时，发现只支持单topic的数据入湖。在我们实际生产场景中，需要消费多个topic数据。当多个topic时，之前只根据分区编号划分范围就不适用了，需要加上topic。这两个方法是将checkpoint数据转换成string和string方法，加入多个topic转换，多个之间使用竖线分隔。获取偏移量时，第一次需要判断是否是新加的topic，是新加的则需要获取最新的偏移量。扩展topic名称的配置，多个topic时使用逗号分隔；
2023-01-30 17:56:00
180
原创 emqx 使用emqx-exhook 做第三方扩展时遇到初始化失败
emqx、emqx_extension_hook、Java插件、emqx桥接kafka、emqx编译
2022-03-04 10:17:28
8069
1
原创 Redis BitMap 转化成java 的BitSet
整取Redis中bitmap所有值，再转换成java中的bitSetBitSet bitset = fromByteArrayReverse(jedis.get(key.getBytes()));for (int i = bitset.nextSetBit(0); i >= 0; i = bitset.nextSetBit(i + 1)) { System.out.println("ID: " + i); if (i == Integer.MAX_VALUE) {
2021-11-20 14:54:29
1059
原创 Hue 编译报错 Could not resolve dependencies for project com.cloudera.hue:hue-plugins:jar:3.9.0-SNAPSHOT
操作系统环境是：centos7Hue 版本：3.9.0遇到问题，下载cloudera的hadoop包jar包失败，中央仓库以及阿里云仓库都没有cloudera相关的jar包。解决方式：一、mvn中的setting.xml配置文件，修改默认仓库为以下配置，主要是将cloudera相关的jar包不走阿里云 <mirror> <id>nexus-aliyun</id> <mirrorOf>*,!clo.
2021-03-06 20:10:46
389
转载 Nutch2.2.1+Eclipse+Mysql
此博客大部分转自：http://www.tuicool.com/articles/aAVFbm如果出现PKIK之类错误，可以参考：http://stackoverflow.com/questions/42255752/nutch-2-x-ant-eclipse-build-failed
2017-03-10 15:23:22
741
翻译 sql 批量更新语句，可用于大量修改
UPDATE tableName SET `_a` = CASE WHEN `_id` = "1" and `_b`="2" THEN "这是说明将id为1的a的字段改成此字段" WHEN `_id` = "2" and `_b`="2" THEN "这是说明将id为2的a的字段改成此字段" WHEN `_id` = "3" and `_b`="2" THEN "这
2016-09-26 13:43:50
4334
1
转载 DetachedCriteria常用方法
QBC常用限定方法（懒得写了，直接从别处复制过来）Restrictions.eq --> equal,等于.Restrictions.allEq --> 参数为Map对象,使用key/value进行多个等于的比对,相当于多个Restrictions.eq的效果Restrictions.gt --> great-than > 大于Restriction
2015-10-16 20:17:41
325
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人