基于 FFI 的 PyFlink 下一代 Python 运行时介绍

最新推荐文章于 2024-08-07 10:24:26 发布
最新推荐文章于 2024-08-07 10:24:26 发布
阅读量202 收藏
点赞数
分类专栏： 综合技术探讨及方案专栏 文章标签： python 开发语言 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_70923796/article/details/125755769
版权
本文介绍了PyFlink的最新特性，包括State TTL config、性能优化如Operator Fusion和State序列化优化等。重点讨论了PyFlink的Runtime结构，特别是基于FFI的PEMJA技术，它解决了Java和Python之间的通信问题，提升了PyFlink UDF的性能。未来计划开源PEMJA框架并支持Python调用Java功能以及Numpy原生数据结构。
摘要由CSDN通过智能技术生成

主要内容包括：

  1. PyFlink 最新功能

  2. PyFlink Runtime

  3. 基于 FFI 的 PEMJA

  4. PyFlink Runtime 2.0

  5. Future Work

一、PyFlink 新功能  

PyFlink 1.14 新增了很多功能，主要分为功能、易用性和性能三个方面。

功能方面，新增了 State TTL config。在 1.14 以前已经实现了 Python Datastream API 以及一些操作 State 上的功能，但是并没有提供 State TTL config 的配置，这也意味着用户写 Python Datastream API 的自定义函数时无法自动把State的值清掉，而是需要手动的操作，对用户不够友好。

易用性方面，主要新增了以下几项功能：

  • 在依赖管理部分支持了 tar.gz 格式。

  • Pro

了解本专栏 订阅专栏 解锁全文 超级会员免费看
米朵儿技术屋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Python使用CFFI调用C动态库
itisyang
01-14 1万+
原文链接 https://blog.csdn.net/itisyang/article/details/54426631 初始化 from cffi import FFI ffi = FFI() 加载C动态库 lib_IOTCAPIs = ffi.dlopen("./tutk_lib/libIOTCAPIs.so") 这种方法加载动态库若是多个库之间有交错调用，则会报错...
与flink打交道（2）——PyFlink的
Li_yi_chao的博客
03-19 589
为什么PyFlink？ pyflink顾名思义，Pythoh 生态与大数据生态有密不可分的关系，调查发现大多数 Python 用户正在解决 ”数据分析“，”机器学习“的问题，那么 Python 生态和大数据生态结合，对 Python 生态一个特别重要到意义就是单机到分布式的能力增强，这是大数据时代海量数据分析对 Python 生态的强需求。 PyFlink 的核心目标 将 Flink 能力输出到 Python 用户，进而可以让 Python 用户使用所有的 Flink 能力。 将 Python
FFI: 在 Python 中调用 C 库
gitblog_00008的博客
03-07 539
FFI: 在 Python 中调用 C 库 ffiRuby FFI项目地址:https://gitcode.com/gh_mirrors/ff/ffi 是一个用于在 Python 中调用 C 库的框架。 什么是 FFI？ FFI（Foreign Function Interface）是一个编程接口，允许程序员在不同的编程语言之间调用函数。通常情况下，这意味着可以在一种编程语言中编写程序，并且从另...
FFI
weixin_34040079的博客
10-14 474
FFI概念 https://segmentfault.com/t/ffi/info FFI即Foreign Function Interface，外部函数调用接口，是一个语言提供的使用其他语言现有库（以及其他组件）的接口。典型的例子包括C++的extern “C”、Java的JNI、.Net的P/Invoke、Python的Python/C API等。对于新的语言，提供FFI机制是很有现实...
Rust FFI 编程 - 其它语言调用 Rust 代码 - Python
Rust语言学习交流
01-21 693
引言随着 Rust 生态的发展，一些 Rust 语言实现的优秀工具或基础协议库，受到越来越多的企业或开发者青睐。与此同时，使用 Rust 语言对已有产品和工具进行性能优化或安全性提升，以...
gir_ffi, 在运行时使用 FFI，为基于GObject的库自动生成绑定.zip
09-18
gir_ffi, 在运行时使用 FFI，为基于GObject的库自动生成绑定 GirFFI由 Matijs van Zuijlen描述使用GObject内省存储库的GNOME的ruby 绑定。状态 特性为基于任何gobject的库创建绑定。在运行时生成绑定。为选定方法...
secp256k1-py:secp256k1的Python FFI绑定
05-03
（用于曲线secp256k1上EC操作的实验性和优化C库）的Python FFI绑定。 安装 pip install secp256k1 预编译的二进制包（轮子） 预编译的二进制轮子可在Linux上用于Python 2.7、3.3、3.4和3.5。 要利用这些优势，您...
python 源码编译 ffi. h文件无路径_三、faster-rcnn源码阅读：C/C++/CU扩展的编译和安装...
weixin_39923572的博客
12-09 896
作为一个copyer，下载了别人的代码首先就是要编译一些扩展库，如果编译不成功，就运行不了，用别人的代码都不会，实在不是一个称职的copyer，所以还是决心把各种扩展方法学习一下。由于设计到很多办法，其中又有很多细节，所以这篇笔记特别的冗杂，前方高能，小心驾驶。前面读了两个cu(CUDA)文件，要把这些扩展让python能够调用，还需要编译安装，这个过程方法多种多样，花样繁多，每个源码库采用的编译...
Apache NetBeans Parent Pom 项目教程
最新发布
gitblog_01168的博客
08-07 249
Apache NetBeans Parent Pom 项目教程 netbeans-parentApache NetBeans parent pom项目地址:https://gitcode.com/gh_mirrors/ne/netbeans-parent 1. 项目的目录结构及介绍 Apache NetBeans Parent Pom 项目的目录结构如下： netbeans-parent/ ├─...
PyFlink 最新进展解读及典型应用场景介绍
Ververica的博客
01-12 958
摘要：本文整理自阿里巴巴高级技术专家付典，在 FFA 核心技术专场的分享。本篇内容主要分为四个部分：PyFlink 发展现状介绍PyFlink 最新功能解读PyFlink 典型应用场景介绍PyFlink 下一步的发展规划Tips：点击「阅读原文」查看原文视频&演讲 ppt01PyFlink 发展现状介绍很多 PyFlink 的新用户都会问这样一些问题，PyFlink 是否成熟？功能是否齐全...
推荐使用PemJa：跨语言调用的高效框架
gitblog_00092的博客
08-06 265
推荐使用PemJa：跨语言调用的高效框架 pemja项目地址:https://gitcode.com/gh_mirrors/pe/pemja 1、项目介绍 在多语言开发环境中，实现不同编程语言之间的互操作是一项挑战。PemJa为此提供了强大的解决方案。它是一个基于Foreign Function Interface（FFI）的开源框架，设计用于高效率地执行跨语言调用，无论是从Python到Jav...
Pyflink系列之使用pyflink实现flink大数据引挚的经典案例wordcount
play_big_knife的博客
02-14 8629
Pyflink系列之使用pyflink实现flink大数据引挚的经典案例wordcount 谈到大数据，也是数据，在专业的概念上来讲，其具备三大特征。 1、数据量足够大，也就是Volume值相当特别地多。 2、数据访问并发量足够高并且实时，可以用Velocity一词反映快速和实时。 3、数据的类型越来越多，可以用Variety一词来反映数据的多样性。 对于大数据的处理思路，普遍都是建立在通过把数据进行分区分片，并分布到各个横向扩展节点，并由调度节点进行统一管理计算。每一次你执行查询的时候，该查
【python环境下调用C代码---编译】学习笔记
Your_name666的博客
04-06 749
实现原理：通过 cffi 将 C 的源代码编译成 .pyd文件 （pyd 是其他语言写的python库）。然后在 python 环境下调用 C 的接口函数。 python环境下调用C代码 的内容相对较多，所以将 编译 和 使用方法 分两篇文章展示。该文介绍 编译 ，需要 使用方法 的可以直接阅读 【python环境下调用C代码—使用】学习笔记 先丢出编译的基本代码(原型)： import cffi ffi = cffi.FFI() # 实例化ffi # 声明xxx.h里的函数和全局变量
Linux树莓派安装python库ffi.h文件缺失问题
小张的技术分享博客
06-11 1545
  在虚拟机的树莓派操作系统Raspbian OS上的Tonny安装python库遇到ffi.h缺失问题，查阅资料后发现上面报错原因是需要libffi-dev依赖包，重新安装libffi即可。   如果发现libffi6等版本问题可降低其版本再安装。...
FFA 2021 专场解读 - Flink 核心技术
Ververica的博客
11-01 769
▼ 点击关注「ApacheFlink」视频号▼12 月 4-5 日，北京国家会议中心，Flink ForwardAsia 2021重磅开启，全球40+多行业一线厂商，80+干货议...
Flink 安装与使用
王清欢的博客
02-20 9146
01 本地模式安装 Flink 1.1 软件包下载 为了运行Flink，只需提前安装好 Java 8 或者 Java 11。可以通过以下命令来检查 Java 是否已经安装正确，如果没有的话，需要先安装 JDK。 java -version 在官方下载地址 下载对应版本并解压 tar -xzvf flink-1.14.0-bin-scala_2.11.tgz -C ~/soft/ cd ~/soft/flink-1.14.0/ 1.2 启动和停止 Flink 集群 Flink 附带了一个 bash 脚本，
PyFlink实战--PyFlink安装与入门介绍
热门推荐
阿华田的博客
03-17 1万+
简介 PyFlink 是什么？简单点说就是 Flink + Python，也就是 Flink on Python，Flink 从 1.9.0 版本开始增加了对 Python 的支持（PyFlink）。那么到底 Flink on Python 意味着这什么呢？那么一个非常容易想到的方面就是能够让 Python 用享受到 Flink 的所有功能。其实不仅如此...
安装 ffi 模块 需要python 环境吗
05-26
是的，安装 ffi 模块需要在 Python 环境下进行。ffi 模块是用于实现 Python 与 C 语言之间的互操作性，因此需要在 Python 环境下安装和使用。通常情况下，ffi 模块是通过 pip 工具进行安装的。可以使用以下命令在 Python 环境下安装 ffi 模块： ``` pip install cffi ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

米朵儿技术屋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值