Java 与 Python 通过 Apache Avro 交换数据

最新推荐文章于 2024-08-19 03:10:23 发布
最新推荐文章于 2024-08-19 03:10:23 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： Java/JEE 文章标签： apache Avro Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kypfos/article/details/70176926
版权

最近转战到 Amazon 的云服务 AWS 上，考虑到在使用它的 Lambda 服务时 Python 应用有比较可观的启动速度，与之相比而言，Java 总是慢热型，还是一个内存大户。所以有想法 Lambda 函数用 Python 来写，来增强响应速度，而内部的应用仍然采用 Java, 于是就有了 Java 与 Python 的数据交换格式。使用 Kafka 的时候是用的 Apache Avro, 因此继续考察它。

注意，本文的内容会有很大部份与前一篇 Apache Avro 序列化与反序列化 (Java 实现) 雷同，不过再经一次的了应用，了解更深了。

在不同类型语言间进行数据交换，很容易会想到用 JSON 格式，那我们为什么还要用 Apache Avro 呢？通过接下来的内容，我们可以看到以下几点：

  1. Apache Avro 序列化的格式也是 JSON 的，Java 的 Avro 库依赖于 Jackson 库
  2. 序列化数据库本身带有 Schema 定义的，方便于反序列化，特别是对于 Java 代码; 而 JavaScript 会表示多此一举
  3. 自动支持序列化数据的压缩，在官方提供的库中，Java 可支持 deflate, snappy, bzip2, 和 xz. 其他语言中可能少些，如 Python 只支持 deflate, 和 snappy, 应该可扩充。序列化数据中 Schema 部分不被压缩
  4. 天然支持序列化对象列表，这样在序列化数据中只需要一份 Schema，类似于数据库表 Schema 加上多记录行的表示方式。只用 Apache Avro 传输小对象的话，数据量比 JSON 事 JDK 序列化的数据要大。

Apache Avro 官方提供有 C, C++, C#, Java, PHP, Python 和 Ruby 的支持库，可在网上找到其他语种的类库，如 NodeJS, Go 的，等等。 阅读全文 >>

Yanbin_Q
关注
专栏目录
apache-beam-csv-to-avro：好了
02-22
Apache Beam 是一个开源的...通过以上知识点，我们可以看到"apache-beam-csv-to-avro"项目如何利用Apache Beam的Java SDK和Avro库，将CSV数据转换成更适合大数据处理的Avro格式，这在大数据领域有着广泛的应用价值。
java与python数据交互_java和python的数据交互的两种方式
weixin_39997695的博客
01-13 613
方案一：jpython需要在java中加载py文件生成拦截器，调用相应的方法传参需要转换成jpython中的相应类型总结：自由度不够高，耦合性太强，且尚不得知py文件间存在依赖是否会引发问题。PythonInterpreter interpreter = new PythonInterpreter();interpreter.execfile("C:\\Python27\\programs\\my...
avro-python3 序列化与反序列化
宇宙浪子的专栏
04-28 3132
AVRO是由apache出品的一种数据序列化方式，官网：http://avro.apache.org/docs/1.8.2/gettingstartedpython.html Python版的二进制数据序列化示例如下所示： # -*- coding: utf-8 -*- import os from io import BytesIO import avro.schema from av...
python如何读取avro文件
最新发布
weixin_40890648的博客
08-19 37
我整理的一些关于【Python】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/Hpqqk2项目方案：使用Python读取Avro文件 在数据处理的过程中，数据的存储格式往往影响我们对数据的处理效率和便捷性。随着大数据技术的不断发展，Apache Avro作为一种二进制序列化...
kafka python框架_Python中如何使用Apache Avro——Apache的数据序列化系统
weixin_29051245的博客
12-26 665
了解如何创建和使用基于Apache Avro的数据，以实现更好，更有效的传输。在这篇文章中，我将讨论Apache Avro，这是一种开源数据序列化系统，Spark，Kafka等工具正在使用该工具进行大数据处理。什么是Apache Avro根据维基百科：Avro是在Apache的Hadoop项目中开发的面向行的远程过程调用和数据序列化框架。 它使用JSON定义数据类型和协议，并以紧凑的二进制格式序列...
python 反序列化
m0_62970186的博客
04-03 5417
python 反序列化
Java 与 Python 数据交互
热门推荐
LZW15082682930的博客
03-30 5万+
开发环境及工具： java 环境 ：JDK 1.8 Python环境：Python 3.7 (安装anaconda自带的python版本) Anaconda环境： conda 4.5.11 Maven环境： Maven 3.6.3 开发工具： IDEA 2020.3.2 Pycharm 2019.2 Postman 本文是以Spring Boot项目来完成Java与Python的数据操作的。 第一步：添加依赖 在pom.xml文件中加入以下内容 <!--Jython
avro-python3-1.9.2.tar.gz
03-05
Avro的出现解决了在分布式系统中不同编程语言之间数据交换的难题，使得数据能够在Java、Python、C++、Go等语言之间无缝共享。 在"avro-python3-1.9.2.tar.gz"这个压缩包中，我们看到的是Avro的Python 3版本，具体是...
Avro数据序列化系统(1)
12-25
总的来说，Avro是Hadoop生态中的重要工具，通过其高效的数据序列化和反序列化能力，简化了大数据处理的复杂性，提高了数据交换的效率。在分布式计算环境中，无论是存储、传输还是处理大量数据，Avro都是一个值得信赖...
Python库 | pantsbuild.pants.contrib.avro-1.5.0.tar.gz
03-07
4. **跨语言通信**：由于Avro的跨语言特性，此库可以帮助Python应用程序与其他语言（如Java）进行数据交换。 总的来说，pantsbuild.pants.contrib.avro-1.5.0为Python开发者提供了一个强大的工具，使他们能够充分...
Python库 | pantsbuild.pants.contrib.avro-1.5.0.dev5.tar.gz
03-09
2. 数据持久化：通过将数据存储为Avro文件，可以在任何支持Avro的系统中进行读取，无论是在Python还是其他语言环境中。 3. 数据分析：在大数据处理框架如Hadoop或Spark中，Avro格式是常见的输入和输出格式，该库可以...
Java与Python之间使用jython工具类实现数据交互
08-26
今天小编就为大家分享一篇关于Java与Python之间使用jython工具类实现数据交互，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
python-avro-json-serializer, 使用AVRO模式将数据序列化为JSON格式.zip
09-18
python-avro-json-serializer, 使用AVRO模式将数据序列化为JSON格式 python Avro JSON序列化程序 AvroJsonSerializer 使用AVRO模式将数据序列化为JSON格式。为什么我们需要序列化程序而不只是转到 JSON？验证数据与架构是否匹配联合的序列化( 请参见下面的
ApacheAvro纯JavaScript实现avsc.zip
07-18
avsc 是 Apache Avro 的纯 JavaScript 实现。特性：完整的 Avro 架构支持，包括递归架构, sort order, 以及 schema evolution.快速！速度相当于 JSON 的两倍，同时更少的编码(varies per schema).无依赖， avsc 甚至可以在浏览器运行表现：解码吞吐率的示意图（越高越好）：库比较：node-avsc, this package.node-json, built-in JSON serializer.node-pson, an alternative to JSON.node-avro-io, most popular previously existing Avro implementation.示例：在一个 node.js 模块，或使用 browserify:var avsc = require('avsc');编码和解码对象:// We can declare a schema inline:var type = avsc.parse({   name: 'Pet',   type: 'record',   fields: [     {name: 'kind', type: {name: 'Kind', type: 'enum', symbols: ['CAT', 'DOG']}},     {name: 'name', type: 'string'}   ] });var pet = {kind: 'CAT', name: 'Albert'};var buf = type.toBuffer(pet); // Serialized object.var obj = type.fromBuffer(buf); // {kind: 'CAT', name: 'Albert'}生成一个 schema 的随机实例:// We can also parse a JSON-stringified schema: var type = avsc.parse('{"type": "fixed", "name": "Id", "size": 4}'); var id = type.random(); // E.g. Buffer([48, 152, 2, 123])检查对象是否符合给定 schema:// Or we can specify a path to a schema file (not in the browser): var type = avsc.parse('./Person.avsc'); var person = {name: 'Bob', address: {city: 'Cambridge', zip: '02139'}}; var status = type.isValid(person); // Boolean status.从一个 Avro 容器文件（不在浏览器）得到解码记录的readable stream：avsc.createFileDecoder('./records.avro')   .on('metadata', function (type) { /* `type` is the writer's type. */ })   .on('data', function (record) { /* Do something with the record. */ }); 标签：avsc
java python之间数据交互(使用jython)
cafebar123的专栏
02-27 1万+
最近有个功能需要java与python之间的数据交互,java需要把参数传给python,然后python计算的结果返回给java.于是就写了一个工具类.首先,maven 需要加载jython的依赖.工具类代码如下:import java.util.List; import java.util.Map; import java.util.Properties; import org.apache....
java和python的数据交互的两种方式
weixin_41079550的博客
04-10 9214
方案一：jpython 需要在java中加载py文件生成拦截器，调用相应的方法 传参需要转换成jpython中的相应类型 总结：自由度不够高，耦合性太强，且尚不得知py文件间存在依赖是否会引发问题。 PythonInterpreter interpreter = new PythonInterpreter(); interpreter.execfile("C:\\Python27\\progr...
Avro序列化/反序列化
fish的专栏
07-21 3191
原文： http://avro.apache.org/docs/current/gettingstartedjava.html This is a short guide for getting started with Apache Avro™ using Java. This guide only covers using Avro for data serialization;
利用Avro实现Kakfa序列化和反序列化
meng984611383的博客
05-31 5357
  1 在pom.xml中添加依赖，     1.1 在dependencies中配置： &lt;dependency&gt; &lt;groupId&gt;org.apache.avro&lt;/groupId&gt; &lt;artifactId&gt;avro&lt;/artifactId&gt; &lt;version&gt;1.8.2&lt;/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值