- 博客(9)
- 收藏
- 关注
RSS订阅原创 在程序中读取pom版本
3.生成源码，然后会生成对应的java文件，${project.version}会被替换成版本号。5.注意点：必须先生成源码，否则引用时会报错找不到这个类。1.在main下创建文件夹，然后在文件夹下新建java文件。4.直接在程序中引用这个类得到版本信息即可。2.在maven中添加插件。
2023-08-31 18:08:07
367
原创 flume同时使用kafka source和kafka sink时数据会sink到source中的topic
最近想要使用flume加拦截器对kafka数据进行处理，但是使用时发现sink中配置的topic不起作用数据sink到source中配置的topic，然后就开始了循环，写进去读出来再写进去，查了老半天查到了这篇文章详细解释了原因，感谢这位作者。总结一下就是source读取数据的时候会将source的topic写进event的header中，sink的时候会从这个header中读取topic。这篇文章里没有详细的拦截器代码，下面附上我写的拦截器以及配置文件以供参考：配置文件：sync.sourc
2022-03-09 12:34:37
2223
原创 canal读mysqlbinlog推送rabbitMQ
前提：已安装MySQL，rabbitMQ，下载好canal-deployer（canal.deployer-1.1.5.tar.gz）1.解压canal包2.配置canal/conf下的canal.properties# tcp, kafka, rocketMQ, rabbitMQcanal.serverMode = rabbitMQ# 将数据发送的目标指向rabbitMQ，也可以换成kafka、tcp、rocketMQ，看需求#############################
2021-12-03 10:12:43
405
原创 Caused by: java.lang.IncompatibleClassChangeError: Found interface org.elasticsearch.common.bytes.By
今天搞es，本地测试没问题，上传集群跑的时候报错：Caused by: java.lang.IncompatibleClassChangeError: Found interface org.elasticsearch.common.bytes.BytesReference, but class was expected at org.elasticsearch.client.RequestConverters.bulk(RequestConverters.java:220) at org.ela
2021-07-15 11:52:08
822
原创 org.apache.bookkeeper.proto.BookieRequestHandler - Unhandled exception occurred in I/O thread or han
在使用pulsar的过程中报了这个么个错误：22:11:15.867 [bookie-io-1-19] ERROR org.apache.bookkeeper.proto.BookieRequestHandler - Unhandled exception occurred in I/O thread or handler on [id: 0x50be42ef, L:/172.19.148.137:3181 - R:/172.19.148.138:57452]io.netty.handler.cod
2021-07-08 11:52:02
677
原创 pulsar集成presto
一、环境准备1.使用pulsar包中自带的presto，无需再下载presto。2.三节点集群，一台coordinator，两台worker。3.每台节点需要各自修改两个配置文件，pulsar-2.7.1/conf/presto/config.properties，pulsar-2.7.1/conf/presto/catalog/pulsar.properties二、配置集群1.修改coordinator节点配置文件cd pulsar-2.7.1/conf/presto/co.
2021-05-31 20:37:56
736
1
原创 报错：Got exception java.lang.NoSuchFieldError: INIT_AUTH_DATA
在跑flink写pulsar的程序时报错：Got exception java.lang.NoSuchFieldError: INIT_AUTH_DATA网上搜了一圈，大部分都是jar包冲突，工程文件重名什么的，我这个只有一个工程，文件很简单，不存在重名什么的，经过排查发现是jar包冲突。原因及解决方法：jar包冲突在搞pulsar function 所以引入了依赖：<dependency> <groupId>org.apache.pulsar</gro
2021-05-19 15:51:40
148
原创 flink-pulsar-connector示例
版本：pulsar：2.7.1flink：1.12.2maven依赖：<!-- flink-pulsar依赖--> <dependency> <groupId>io.streamnative.connectors</groupId> <artifactId>pulsar-flink-connector_2.11</artifactId> <version>1.12
2021-05-13 18:17:02
1830
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人