【Rust日报】2020-11-11 -「InfluxDB IOx」未来会用 Rust 和 Arrow 构建内核

最新推荐文章于 2024-08-26 09:28:25 发布
最新推荐文章于 2024-08-26 09:28:25 发布
阅读量1k 收藏
点赞数
文章标签： java linux 编程语言 python 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012067469/article/details/109664601
版权
InfluxDB IOx计划使用Rust语言和Apache Arrow构建其内核，利用Rust的内存管理和并发优势，以及Arrow的数据格式支持。同时，DataFusion作为Rust中的SQL查询引擎，将使IOx具备SQL子集支持。项目尚处于早期阶段，目标是明年推出开源构建并在InfluxDB Cloud中提供Alpha版本。此外，文章还提及在Rust中编写BPF代码的工具RedBPF，以及澄清Rust具有丰富的数学运算库。
摘要由CSDN通过智能技术生成

「InfluxDB IOx」未来会用 Rust 和 Arrow 构建内核

Rust提供了对运行时行为和内存管理的更精细控制。另外，它使并发编程更容易，并且消除了数据争用。

Apache Arrow定义了用于列式数据的内存格式，以及Parquet（一种持久的持久性格式）以及Flight（一种用于“通过网络接口进行大型数据集的高性能传输”的客户端/服务器框架和协议）。另外，Rust的Apache Arrow工具集中还有DataFusion，它是用于Apache Arrow的Rust本机SQL查询引擎。假设我们以DataFusion为核心进行构建，这意味着InfluxDB IOx将支持现成的SQL子集随着DataFusion项目的成熟，通过InfluxData外部的协作者的开发工作，它既可以在InfluxDB IOx中使用，也可以在其他地方使用。

该项目仍处于初期阶段。我们目前尚未生成构建，并且除了InfluxDB IOx项目README之外，没有任何文档。该团队是一个由高级工程师组成的小型小组，我们的工作与平台上其余部分的大型工程组织的所有工作并行。我们的目标是在明年初生产开源构建，并在InfluxDB Cloud中以alpha形式提供。

详情:https://www.influxdata.com/blog/announcing-influxdb-iox/

[linux kernel] 在Rust中编写BPF代码

BPF是一种虚拟机，当Linux系统上发生某些事件时，它允许在内核中运行用户定义的程序。例如，您要监视可疑文件活动，记录网络响应延迟甚至跟踪用户空间应用程序–您可以编写小型BPF程序，请求将

最低0.47元/天 解锁文章
Rust语言中文社区
关注
时序数据库Influx-IOx源码学习（数据写入之分区）
大仙
04-20 765
InfluxDB是一个由InfluxData开发的开源时序数据库，专注于海量时序数据的高性能读、写、高效存储与实时分析等，在DB-Engines Ranking时序型数据库排行榜上常年排名第一。 InfluxDB可以说是当之无愧的佼佼者，但 InfluxDB CTO Paul 在 2020/12/10 号在博客中发表一篇名为：Announcing InfluxDB IOx – The Future Core of InfluxDB Built with Rust and Arrow的文章，介绍了一个新项目.
influxdb_iox：发音（influxdb eye-ox），是氧化铁的缩写。 这是在Apache Arrow之上用Rust编写的InfluxDB的新核心
02-12
InfluxDB IOx InfluxDB IOx（氧化铁的缩写，发音为InfluxDB“ eye-ox”）是InfluxDB（开源时间序列数据库）的未来核心。 该名称是为了向该项目的编写语言Rust致敬。它是使用和的。 InfluxDB IOx的目标是： InfluxDB的未来核心； 支持行业标准SQL，InfluxQL和Flux 内存中的列式存储，使用对象存储实现持久性 用于结构化和半结构化事件（例如日志和跟踪数据）的快速分析数据库 一个为InfluxDB时间序列数据和表格分析数据定义复制（同步，异步，推和拉）和分区规则的系统 支持实时订阅的系统 可以转换时间序列和事件数据并对其进行任意计算的处理器 为数据科学构建的分析数据库，支持Apache Arrow Flight进行快速数据传输 持久性是通过对象存储中的Parquet文件实现的。 一个设计目标是通过对象存储和Parquet
InfluxDB Rust客户端使用教程
最新发布
gitblog_00973的博客
08-26 334
InfluxDB Rust客户端使用教程 influxdb-rustRust Client for the InfluxDB Time Series Database项目地址:https://gitcode.com/gh_mirrors/in/influxdb-rust 项目介绍 InfluxDB Rust客户端是一个用于与InfluxDB时间序列数据库进行交互的Rust库。该项目旨在提供一个高...
arrow2:免转换的Rust库可使用Arrow格式
04-03
Arrow2：无转换箭头 该存储库包含一个Rust库，可使用。 它是使用免转换操作对的重写。 有关详细信息，请参见常见问题解答。 请参阅。 设计 此仓库和板条箱的主要目标是提供安全的Rust实施方案以与Arrow进行互操作。 就这样 除箭头规范上定义的逻辑类型外，不得实现任何其他逻辑类型。 必须按照布置内存 必须支持从零拷贝读取和写入。 必须支持读取和写入，并且必须对照提供的黄金文件对验证。 有关此存储库各个部分的设计文档可在其各自的自述文件中找到。 运行单元测试 git clone git@github.com:jorgecarleitao/arrow2.git cd arrow2 cargo test 该测试套件是原始实现针对arrow项目中的黄金文件的所有集成测试的超集。 目前，它没有尝试将arrow的master中的其他实现与该实现进行测试。 假定箭头的黄金文件足以覆盖
Apache Arrow的Rust官方实现-Rust开发
05-27
欢迎使用Rust流行的内存中柱状格式Arrow的实现。 Apache Arrow的本机Rust实现欢迎使用Rust实现流行的内存中列格式Arrow的实现。 Arrow项目的这一部分分为4个主要组件：板条箱说明文档Arrow核心功能（内存布局，数组，低级计算）（README）Parquet Parquet支持（README）Arrow-flight进程之间的箭头数据（README）DataFusion In带有SQL支持的内存查询引擎（README）Ballista分布式查询执行程序
使用 Arrow 格式的无转换 Rust 库
06-28
Arrow2：无转化之箭这个存储库包含一个 Rust 库来处理Arrow 格式。它是使用无转化操作重新编写的官方 Arrow crate 。有关详细信息，请参阅常见问题解答。请参阅指南。设计这个 repo 和 crate 的主要目标是提供一个安全的 Rust 实现来与 Arrow 进行互操作。如此一来，它不得实现除箭头规范schema.fbs 中定义的逻辑类型之外的任何逻辑类型。必须根据箭头规范布置内存必须支持在零拷贝时读取和写入C 数据接口。必须支持读取和写入IPC 规范，它必须根据此处提供的黄金文件进行验证。有关此存储库每个部分的设计文档可在其各自的自述文件中找到。运行单元测试git clone[email protected] :jorgecarleitao/arrow2.gitcd arrow2 cargotest测试套件是原始实现针对来自箭头项目的黄金文件的所有集成测试的超集。它目前没有尝试针对 arrow 的 master 中的其他实现来测试实现；它假定箭头的黄金文件足以涵盖规范。这个 crate 使用小端和大端黄金文件，因为它支持 IPC 边界的两种字节序。这个板条箱中
Ttyper是基于终端的打字测试，使用Rust和tui-rs构建。-Rust开发
05-27
ttyper Ttyper是使用Rust和tui-rs构建的基于终端的打字测试。 使用Cargo进行安装：货物安装ttyper用法有关用法说明，ttyper Ttyper是基于终端的打字测试，使用Rust和tui-rs构建。 使用Cargo安装：cargo install ...
The-Complete-Rust-Programming-Reference-Guide:使用Rust的高级结构设计，开发和部署有效的软件系统
05-27
它首先介绍了Rust数据结构和算法，并涵盖了整个范围，包括内存安全性，类型系统，并发性以及Rust 2018的其他功能。 您将学到什么 在Rust中设计和实现复杂的数据结构 使用Rust创建并使用经过良好测试和可重用的组件 ...
rust-for-android-ios-flutter：此存储库仅显示如何使用Rust来构建可用于Android，iOS和Flutter的共享库
02-04
标题中的“rust-for-android-ios-flutter”项目是一个开源示例，展示了如何利用Rust编程语言构建一个跨平台的库，该库可以被Android、iOS以及Flutter应用所使用。这个项目的核心在于利用Rust的高性能和安全性特性，...
Apache Arrow 的官方 Rust 实现
06-28
Apache Arrow 的原生 Rust 实现欢迎使用Rust 中流行的内存中列格式 Arrow 的实现。Arrow 项目的这一部分分为 4 个主要部分：箱 描述 文档 箭 核心功能（内存布局、数组、低级计算） （自述文件） 实木复合地板 镶木地板支撑 （自述文件） 箭矢飞行 进程间的箭头数据 （自述文件） 数据融合 具有 SQL 支持的内存查询引擎 （自述文件） 弩炮 分布式查询执行 （自述文件） 独立地，它们支持大量的内存计算功能。它们一起允许用户编写 SQL 查询或DataFrame （使用datafusion crate），针对 parquet 文件运行它（使用parquet crate），使用 Arrow 的柱状格式（使用arrow crate）在内存中评估它，以及发送到另一个进程（使用arrow-flight箱）。一般来说，arrow crate 提供了开发使用 Arrow 数组的代码的功能，而datafusion提供了 SQL 中常见的大多数操作，但值得注意的是：joinwindow函数这里有太多功能无法一一列举，但有一些值得注意的地方：Arrow实现了规范中除某些字典
【Rust日报】2021-08-21 Apache Arrow DataFusion 5.0.0 版本
Rust语言学习交流
08-21 532
SnakeOS v0.1.0发布我刚刚发布了 https://github.com/trusch/snakeos 的 v0.1.0！这是继在 Rust 博客系列中编写操作系统之后适用于 x...
influxdb-rust:用于InfluxDB时间序列数据库的Rust客户端
05-03
非官方的Rust Rust InfluxDB驱动程序 该库正在进行中。 这意味着您可能需要的功能尚未实现，或者可能会得到更好的处理。 始终欢迎请求请求。 请参阅和。 有关过去更改的列表，请参见 。 当前支持的功能 读写InfluxDB 可选的Serde支持反序列化 在一个请求中运行多个查询（例如SELECT * FROM weather_berlin; SELECT * FROM weather_london ） 经过身份验证和未经身份验证的连接 async / await支持 #[derive(InfluxDbWriteable)]派生宏，用于写入/读取结构 GROUP BY支持 Tokio和async-std支持（请参见下面的示例）或 可交换的HTTP后端（） 快速开始 将以下内容添加到您的Cargo.toml influxdb = { version = " 0.4.0 "
bpf-example:在Mac上的Rust中开发BPF程序的示例存储库
04-03
Rust中的BPF示例 一个示例仓库，显示了使用Rust编程语言的Mac上Linux内核的BPF开发环境。 要求 安装及其扩展包。 安装和插件。 brew install vagrant vagrant plguin install vagrant-reload vagrant plugin install vagrant-vbguest 初始化Vagrant VM 注意：VM的默认内存在已设置为4GB。 如果您的主机Mac计算机的内存较少，则可以减少内存。 但是请确保不少于2GB。 现在让我们使用ONE命令启动环境： vagrant up 差不多了 如果一切顺利，我们可以登录到无所事事的VM，并构建和运行bpf程序。 # SSH login into the Vagrant VM env vagrant ssh # Project workspace path cd /work
bpfcontain-rs:BPFContain是利用eBPF和Rust的强大功能和安全性的GNULinux容器安全守护程序
04-18
BPF包含 BPFContain是利用eBPF和Rust的强大功能和安全性的GNU / Linux容器安全守护程序。 免责声明 BPFContain仍在积极开发中，尚未完成功能。 如何安装 要求 编译并运行bpfcontain： Linux内核版本> = 5.10 至少应使用以下构建标志来编译内核： CONFIG_BPF =y CONFIG_BPF_SYSCALL =y CONFIG_BPF_JIT =y CONFIG_TRACEPOINTS =y CONFIG_BPF_LSM =y CONFIG_DEBUG_INFO =y CONFIG_DEBUG_INFO_BTF =y # (Note: This can also be set in kernel arguments via your bootloader, e.g. grub) CONFIG_LSM = " bpf " 应该在
VisualSolana:Solana Rust BPF程序的块式编辑器和代码生成器
04-08
视觉索拉纳 一个基于块的可视化编辑器，用于Rust BPF代码生成
【Rust日报】2023-10-01 influxdb 正式从 Go => Rust 切换
Rust语言学习交流
10-02 346
Rust 中的 CockroachDB 重新实现大家好，我用 Rust 实现了一个分布式 SQL 数据库。它就像 CockroachDB 和 Google Spanner。Github： https://github.com/pasindumuth/rUniversalDB演示： https://youtu.be/Z6PuOUdtb_Q注意：这不是生产级数据库，它是我出于学习目的而做的一个业余...
【Rust日报】2021-10-08 事件处理引擎 tremor-runtime 已经在 Wayfair 生产环境跑了三年...
Rust语言学习交流
10-08 2275
【Rust 生态观察】 Rust 实现的事件处理引擎 tremor-runtime 已经在 美国最大家具电商公司 Wayfair 生产环境跑了三年深挖了一下 tremor-runtime ...
基于 apache-arrow 的 duckdb rust 客户端
chashulaoshi的博客
07-29 266
基于 apache-arrow 的 duckdb rust 客户端 目录基于 apache-arrow 的 duckdb rust 客户端背景libduckdb-sys基于 SQLite3 接口基于 C++ 接口基于 C 接口duckdb-rs小试牛刀通过 Apache Arrow 查询数据总结参考 背景 duckdb 是一个 C++ 编写的单机版嵌入式分析型数据库。它刚开源的时候是对标 SQLite 的列存数据库，并提供与 SQLite 一样的易用性，编译成一个头文件和一个 cpp 文件就可以在程序中使用
Rust与RISC-V操作系统开发入门到高级教程
它涵盖了Rust语言的基础知识、RISC-V平台的编程、操作系统的架构设计、内核开发、系统调用、中断处理、内存管理、文件系统、多线程和多任务处理等方面。 5. 学习资源的适用人群: 教程专为多个学习阶段的读者设计，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值