高性能 Rust JSON 库 sonic-rs 优化实践

最新推荐文章于 2024-12-22 12:10:03 发布
最新推荐文章于 2024-12-22 12:10:03 发布
阅读量1.8k 收藏 50
点赞数 44
文章标签： rust json 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49376454/article/details/139538639
版权

高性能 Rust JSON 库 sonic-rs优化实践

一、sonic-rs 介绍

sonic-rs 是一个基于 SIMD 的高性能 Rust JSON 库，是 sonic JSON 库的 Rust 版本。

字节跳动 sonic 开源项目如今包含了不同语言的多个 JSON 库（如下）。其中，sonic-go 最先开源，使用了 JIT 和 SIMD 技术，sonic-cpp 使用了 C++ 模板和 SIMD 技术，这两个 JSON 库均已经在字节内部得到了较大规模的落地。在成本优化大背景下，为了帮助 Golang 业务迁移 Rust，优化 Rust JSON 性能，我们基于 JSON 方面的优化经验和实践，用纯 Rust 语言开发了高性能的 JSON 库  sonic-rs。

  • sonic（Golang JSON 库）:https://github.com/bytedance/sonic

  • sonic-cpp（C++ JSON 库）:https://github.com/bytedance/sonic-cpp

  • sonic-rs（Rust JSON 库）:https://github.com/cloudwego/sonic-rs

sonic-rs 目前支持的 JSON 功能比较齐全，基本对齐

最低0.47元/天 解锁文章
Yuki-^_^
关注
基于 JIT 技术的开源全场景高性能 JSON 库
weixin_sjk6070的博客
01-25 508
sonic 是字节跳动开源的一款 Golang JSON 库，基于即时编译（Just-In-Time Compilation）与向量化编程（Single Instruction Multiple Data）技术，大幅提升了 Go 程序的 JSON 编解码性能。同时结合 lazy-load 设计思想，它也为不同业务场景打造了一套全面高效的 API。 自 2021 年 7 月份发布以来， sonic 已被抖音、今日头条等业务采用，累计为字节跳动节省了数十万 CPU 核。 为什么要自研 JSON 库 JSON（J
rust-json-over-udp-example:Rust 中的 JSON-over-UDP 示例
06-07
Rust 中的 JSON-over-UDP 示例 设置 安装 Rust 和 netcat 用法 打开终端并输入： cargo run 然后在另一种终端类型中： echo -n '{"recipient":"lauri","content":"foo"}' | nc -u 127.0.0.1 34254 # nc is ...
基于simdjson端口的高性能JSON解析器-Rust开发
05-27
具有Serde兼容性的极其快速的simdjson JSON解析器的Rust端口。 自述文件（真正的！）simdjson版本当前正在跟踪Rust的具有serde兼容性的极快simdjson JSON解析器的Rust的Rust端口。 自述文件（真正的！）simdjson版本当前正在跟踪simdjson上游的0.2.x版本（正在进行中，欢迎反馈！）。 CPU目标为了能够利用simd-json，您的系统需要具有SIMD功能。 这意味着它需要使用本机cpu支持和给定的功能进行编译。 这还要求使用simd-json的项目也需要使用nati配置
Rust与Go中实现高性能解析JSON
u012516914的专栏
12-20 346
为了获得最佳性能，请尝试使用 Rust 或 Go。在这种使用情况下，它们的速度基本相当，它们都比 Java 快 4 倍，比 Python 快 6 倍。如果要解析 JSON 文件：在 Go 中，使用 fastjson 代替标准库的 encoding/json，性能会提高 10 倍。对于 Rust，使用 simdjson 代替 serde_json，性能会提高 3 倍。Rust两个不同的 JSON 解...
探索极致性能：Sonic-rs——一款基于SIMD的高性能JSON库
gitblog_00091的博客
05-31 507
探索极致性能：Sonic-rs——一款基于SIMD的高性能JSON库 sonic-rsA fast Rust JSON library based on SIMD.项目地址:https://gitcode.com/gh_mirrors/so/sonic-rs 在开发高效率的应用程序时，处理JSON数据的速度往往成为瓶颈。为了解决这个问题，我们有幸介绍sonic-rs，这是一个专为追求极致性能而生...
竟然还有比rust官方库更高效第三方json库
Program with head, not hand
08-15 1118
对比了serde_json、rustc_serialize、simd-json，simd-json在几个场景下都是轻松超越。simd-json提供了一些高级用法和功能，以提高JSON解析和序列化的性能和灵活性。然后，我们可以使用该值的方法来获取JSON中的特定字段的值。在这个示例中，我们首先使用。函数将JSON数据解析为。我们再来看下它的一些高级功能。
redis-rs — Rust中的Redis库-Rust开发
05-27
Redis-rs是Rust的高级Redis库。 它通过非常灵活但低级别的redis-rs提供了对所有Redis功能的便捷访问Redis-rs是Rust的高级redis库。 它通过非常灵活但底层的API，提供对所有Redis功能的便捷访问。 它使用可自定义的...
tch-rs — PyTorch的Rust语言绑定。-Rust开发
05-27
tch-rs PyTorch的C ++ API的Rust绑定。 Tch板条箱的目标是在C ++ PyTorch api周围提供一些薄包装纸（又名PtorTorch的C ++ api的libtorc tch-rs Rust绑定。tch板条箱的目标是在C ++ PyTorch api周围提供一些薄包装纸...
napi-rs：用于在Rust中构建编译的NodeJS附加组件的最小库
02-04
该库取决于N-API，并且需要Node@10.0.0或更高版本。 我们已经有一些由napi-rs编写的软件包： 一个不错的功能是，此板条箱允许您仅使用Rust/JavaScript工具链即可构建附加组件，而无需涉及node-gyp 。 味道 您...
sonic ：基于 JIT 技术的开源全场景高性能 JSON 库
onghaha的博客
04-05 1034
Android架构学习进阶是一条漫长而艰苦的道路，不能靠一时激情，更不是熬几天几夜就能学好的，必须养成平时努力学习的习惯。所以：贵在坚持！上面分享的字节跳动公司2020年的面试真题解析大全，笔者还把一线互联网企业主流面试技术要点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节。就先写到这，码字不易，写的很片面不好之处敬请指出，如果觉得有参考价值的朋友也可以关注一下我。
go-sonic:用Go编写的Sonic驱动程序
05-25
为声音搜索后端转到客户端 这个软件包实现了所有与音速一起使用的命令。 如果缺少一个，请打开一个问题！ :) 音速： ： 安装 go get github.com/expectedsh/go-sonic 例子 package main import ( "fmt" "github.com/expectedsh/go-sonic/sonic" ) func main () { ingester , err := sonic . NewIngester ( "localhost" , 1491 , "SecretPassword" ) if err != nil { panic ( err ) } // I will ignore all errors for demonstration purposes _ = ingester . BulkPush ( "movi
tinysonic:JSON 对象的快速语法
07-23
超音速 JSON 对象的快速语法。 深受启发，但更简单。 安装 $ npm install tinysonic --save 例子 'use strict' var tinysonic = require ( 'tinysonic' ) const encoded = tinysonic . stringify ( { hello : 'world' , my : { world : 'data' } } ) console . log ( 'Encoded: ' , encoded ) // Encoded: 'hello:world,my:{world:data}' const decoded = tinysonic . parse ( encoded ) console . log ( 'Decoded: ' , decoded ) //
开源 C++ JSON 库 sonic-cpp解析性能为 rapidjson 的 2.5 倍
u012181546的博客
12-06 2677
sonic-cpp 是由字节跳动 STE 团队和服务框架团队共同研发的一款面向 C++ 语言的高效 JSON 库，极致地利用当前 CPU 硬件特性与向量化编程，大幅提高了序列化反序列化性能，解析性能为 rapidjson 的 2.5 倍。 sonic-cpp 在字节内部上线以来， 已为抖音、今日头条等核心业务，累计节省了数十万 CPU 核心。近日，我们正式对外开源 sonic-cpp，希望能够帮助更多开发者，欢迎大家 star、fork。Github：https://github.com/bytedance
SONIC config_db.json文件的前生今世
ajuse的博客
12-24 1724
config_db.json的使用 系统启动时从config_db.json中读取数据并写入CONFIG_DB数据库，前提是config_db.json存在； 保存当前系统的一些配置信息，通过config save命令； 与CONFIG_DB存在联系，CONFIG_DB为系统实时配置数据库； sonic_installer sonic_buildimage/src/sonic-utilitie...
高性能 Rust JSON 库 sonic-rs 开源
weixin_44186218的博客
02-19 1343
sonic-rs 是一个基于 SIMD 的高性能 Rust JSON 库，是 sonic JSON 库的 Rust 版本。字节跳动 sonic 开源项目如今包含了不同语言的多个 JSON 库（如下）。其中，sonic-go 最先开源，使用了 JIT 和 SIMD 技术，sonic-cpp 使用了 C++ 模板和 SIMD 技术，这两个 JSON 库均已经在字节内部得到了较大规模的落地。
python秒转换成小时分钟秒_从20秒到0.5秒：一个使用Rust语言来优化Python性能的案例...
weixin_39549899的博客
11-24 365
Python 被很多互联网系统广泛使用，但在另外一方面，它也存在一些性能问题，社区也提出了很多优化的方案。今天分享的是Flask库的作者，Armin Ronacher用 Rust 来优化 Python 的方案。译文由高可用架构公众号翻译。Sentry 是一个帮助在线业务进行监控及错误分析的云服务，它每月处理超过十亿次错误。我们已经能够扩展我们的大多数系统，但在过去几个月，Python 写的 sou...
Sonic和高性能json库-多json的性能库的对比
最新发布
远方雪的专栏
12-22 571
对每个不同的数据结构分别调用：确保每个类型都经过预热，以充分利用sonic的性能优化。统一管理sonic配置：通过全局变量或其他方式统一管理sonic的配置，确保整个项目中 JSON 操作的配置一致性。避免命名冲突：使用不同的变量名（如jsonAPI）来引用自定义的sonic配置，避免与其他 JSON 库发生命名冲突。通过上述方法，您可以高效地使用sonic库处理多个不同的数据结构，并充分利用Pretouch的性能优化功能。如果在实施过程中遇到其他问题或有进一步的疑问，欢迎随时提问！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值