实践+总结:Apache avro根据*.avsc文件提取对象的四种方式

1 篇文章 0 订阅

1.通过脚本命令 avro-tools

这几天在弄一件事情,用flink在kafka中读取数据,kafka中的数据是avro序列化的。
按照正常的思维就是需要数据解析,得到文件里面数据结构的bean的对象,但对于复杂结构的数据通过手动去编写bean对象是很麻烦的。
刚好Apache avro提供了一种工具,如下图
但我这有点问题就是 avro版本要和avro-tools版本一定要一致,否则解析出来的bean会报错!!!
在这里插入图片描述
把上图中的两个jar包放到java目录下,就可以写脚本了

 java -jar avro-tools-1.7.7.jar compile schema user.avsc java.

参考文章:大致过程参考

另一种方式参考文章:通过pom文件获得对象,mvn
但是在执行的时候出现了问题:文件找不到,所以就怀疑是不是路径里面出现括号的原因
在这里插入图片描述
随后将 *.avsc文件放到另一个路径下,成功获得了文件的对象
在这里插入图片描述
在这里插入图片描述
ACPDR.java就可以直接用了!

2.通过mvn方式,主要是pom文件配置

第二种方式主要是导入pom依赖,然后mvn-clean-install就可以了
在这里插入图片描述

在这里插入图片描述

3.通过代码方式

这里我把 .avsc文件的路径写到了配置文件里面!!!然后通过配置文件获取路径。否则会报错。
试着这种方式,误打误撞居然可以解析成功!!!~~
这里主要借用了一种获取配置文件的方式,还是比较好用的,一般打包也不会报错

       //获取配置文件参数
        ClassPathResource resource = new ClassPathResource("config-" + args[0] + ".properties");
        InputStream inputStream = resource.getInputStream();
        ParameterTool param = ParameterTool.fromPropertiesFile(inputStream);

下面是avro反序列化的方式,主要是传入Flink的consumer中作为反序列化类。
亲测成功!
在这里插入图片描述

4.通过代码自定义方法

在这里插入图片描述
在这里插入图片描述

avro-tools是我第一次用,所以把这次的学习记录了下来。
Apache avro的官方网站:http://avro.apache.org/docs/current/api/java/index.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
org.apache.flume.EventDeliveryException: Failed to send events at org.apache.flume.sink.AbstractRpcSink.process(AbstractRpcSink.java:389) at org.apache.flume.sink.DefaultSinkProcessor.process(DefaultSinkProcessor.java:67) at org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:145) at java.lang.Thread.run(Thread.java:748) Caused by: org.apache.flume.FlumeException: NettyAvroRpcClient { host: localhost, port: 44444 }: RPC connection error at org.apache.flume.api.NettyAvroRpcClient.connect(NettyAvroRpcClient.java:181) at org.apache.flume.api.NettyAvroRpcClient.connect(NettyAvroRpcClient.java:120) at org.apache.flume.api.NettyAvroRpcClient.configure(NettyAvroRpcClient.java:638) at org.apache.flume.api.RpcClientFactory.getInstance(RpcClientFactory.java:90) at org.apache.flume.sink.AvroSink.initializeRpcClient(AvroSink.java:127) at org.apache.flume.sink.AbstractRpcSink.createConnection(AbstractRpcSink.java:210) at org.apache.flume.sink.AbstractRpcSink.verifyConnection(AbstractRpcSink.java:270) at org.apache.flume.sink.AbstractRpcSink.process(AbstractRpcSink.java:346) ... 3 more Caused by: java.io.IOException: Error connecting to localhost/127.0.0.1:44444 at org.apache.avro.ipc.NettyTransceiver.getChannel(NettyTransceiver.java:261) at org.apache.avro.ipc.NettyTransceiver.<init>(NettyTransceiver.java:203) at org.apache.avro.ipc.NettyTransceiver.<init>(NettyTransceiver.java:152) at org.apache.flume.api.NettyAvroRpcClient.connect(NettyAvroRpcClient.java:167) ... 10 more Caused by: java.net.ConnectException: 拒绝连接: localhost/127.0.0.1:44444 at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) at org.jboss.netty.channel.socket.nio.NioClientBoss.connect(NioClientBoss.java:152) at org.jboss.netty.channel.socket.nio.NioClientBoss.processSelectedKeys(NioClientBoss.java:105) at org.jboss.netty.channel.socket.nio.NioClientBoss.process(NioClientBoss.java:79) at org.jboss.netty.channel.socket.nio.AbstractNioSelector.run(AbstractNioSelector.java:318) at org.jboss.netty.channel.socket.nio.NioClientBoss.run(NioClientBoss.java:42) at org.jboss.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:108) at org.jboss.netty.util.internal.DeadLockProofWorker$1.run(DeadLockProofWorker.java:42) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ... 1 more
06-11

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值