Rust常见陷阱 | 警惕 UTF-8 引发的性能隐患

于 2024-04-19 16:35:01 发布
阅读量291 收藏
点赞数 3
分类专栏： Rust常见陷阱 文章标签： rust 开发语言 后端
本文为博主原创文章，未经授权不得以任何方式转载，侵权必究。
本文链接：https://blog.csdn.net/weixin_46449765/article/details/137970005
版权
Rust常见陷阱 专栏收录该内容
11 篇文章 0 订阅 ¥9.90 ¥99.00
订阅专栏
本文探讨了Rust中UTF-8编码字符串的性能隐患，包括查找、截取和计算字符长度等操作。提出了优化策略，如避免字符级操作、批量处理、正确使用API及预计算，并提供了实际案例来展示如何优化处理文本数据，旨在提升Rust应用的性能。
摘要由CSDN通过智能技术生成

在软件开发中，对字符串的操作是日常任务中最普遍也最关键的一部分。尤其在Rust语言中，对字符串性能的优化有时会被开发者忽视，特别是在处理UTF-8编码时。UTF-8作为一种变长字符编码方式，在存储和处理多语言文本时非常高效。然而，如果处理不当，UTF-8编码同样可以引起严重的性能问题。今天，我们将深入探讨Rust中与UTF-8相关的性能隐患，并提供一系列优化建议，助力开发者克服这些挑战。

UTF-8与Rust字符串

在Rust中，String类型和字面量&str都是以UTF-8编码存储的。这意味着一个char类型的值可能占据1到4个字节。这种变长的特性使得一些看似简单的操作 —— 比如计算字符串长度、访问指定位置的字符 —— 变得不那么直观。在某些场景下，这会直接影响到代码的性能。

例如，想象一个场景，你需要处理一个大型的字符串数据，并频繁地获取字符串的特定字符。在UTF-8格式的字符串中，这意味着Rust必须从头开始数每个字符，以确定所需字符的位置，因为字符的长度是变化的。这一过程显然比在ASCII编码中简单地索引到位置要花费更多的时间和资源。

Rust的UTF-8性能隐患

  1. 查找和截取操作
    Rust中获取特定索引处的字符很可能触发一个从字符串

了解本专栏 订阅专栏 解锁全文
Rust开发笔记
关注
专栏目录
订阅专栏
[rust学习笔记]使用字符串存储UTF-8编码的文本
q435201823的博客
08-11 1261
字符串是什么 rust在语言核心部分只有一种字符串：就是字符串切片str，它通常以借用的形式出现（&str）。 字符串切片是一些指向存储在别处的UTF-8编码字符串的引用。例如，字符串字面量的数据被存储在程序的二进制文件中，而它们本身也是字符串切片的一种。 而String是被定义在std库中的。通常String被称为“字符串”，而str被称为字符串切片。 创建一个新的字符串 String相当与字符串动态数组，所以很多vec的操作，String也适用。 比如创建一个新的字符串： fn main() {
Unicode
lhj_sjtu的博客
03-21 5381
Unicode最终，美国人意识到他们应该提出一种标准方案来展示世界上所有语言中的所有字符，出于这个目的，Unicode诞生了。Unicode 当然是一本很厚的字典，记录着世界上所有字符对应的一个数字。具体是怎样的对应关系，又或者说是如何进行划分的，就不是我们考虑的问题了，我们只用知道 Unicode 给所有的字符指定了一个数字用来表示该字符。对于 Unicode 有一些误解，它仅仅只是一个字符集，...
simdutf8 – Rust的高速UTF-8验证-Rust开发
05-27
基于simdjson的实现，使用SIMD扩展对Rust进行了非常快速的API兼容UTF-8验证。 最初是由simd-json.rs的开发人员移植到Rust的。 simdutf8 – Rust的高速UTF-8验证基于simdjson的实现，使用SIMD扩展为Rust提供了与API兼容的快速UTF-8验证。 最初是由simd-json.rs的开发人员移植到Rust的。 免责声明尽管已使用示例数据和模糊器进行了测试，并且尚无已知错误，但该软件应被视为Alpha质量，并且尚未（尚未）用于生产中。 在首次发布产品之前，将对其进行更严格的测试。
Rust从入门到实战系列二百九十五：UTF-8 & 索引
最新发布
wanmeijuhao的博客
03-13 498
/ 这 种 操 作 必 须 标 记 为 unsafe， 因 为 我 们 需 要 自 己 来 确 保 这 里 的 操 作 是 安 全 的。我们可以使用 utf8_slice 来按照字符的自然索引方式对 UTF-8 字符串进行切片访问，与之前的切片方式相。4. 🌟🌟🌟 我们无法通过索引的方式访问字符串中的某个字符，但是可以通过切片的方式来获取字符串。let s = String::from(“hello, 世 界”);比，它索引的是字符，而之前的方式索引的是字节.// 迭 代 s 中 的 所 有 字 符。
我的RUST学习——【第八章 8-2】使用字符串存储 UTF-8 编码的文本
swallowblank的博客
09-09 506
什么是字符串 什么是字符串？ 在开始深入这些方面之前，我们需要讨论一下术语 字符串 的具体意义。Rust 的核心语言中只有一种字符串类型：str，字符串 slice，它通常以被借用的形式出现，&str。第四章讲到了 字符串 slice：它们是一些储存在别处的 UTF-8 编码字符串数据的引用。比如字符串字面值被储存在程序的二进制输出中，字符串 slice 也是如此。 称作 String 的类型是由标准库提供的，而没有写进核心语言部分，它是可增长的、可变的、有所有权的、UTF-8 编码的字符串类
针对 Rust 的 SIMD 加速 UTF-8 验证。
06-28
simdutf8 – Rust 的高速 UTF-8 验证基于simdjson的实现，使用 SIMD 扩展对 Rust 进行极快的 API 兼容 UTF-8 验证。最初由simd-json.rs的开发人员移植到 Rust。免责声明该软件（还）不应该用于生产，尽管它已经用...
Kiro是用Rust编写的终端UTF-8文本编辑器-Rust开发
05-27
Kiro是一个用Rust编写的小型UTF-8文本编辑器。 Kiro最初是Rust的一个极好的最小文本编辑器移植版本，并随着各种扩展和改进而发展。 Kiro Kiro是一个用Rust编写的小型UTF-8文本编辑器。 Kiro最初是Rust的一个极好的...
bstr:不需要有效的UTF-8的Rust字符串类型
04-30
这与标准库的String和str类型不同，因为它们不需要是有效的UTF-8，但可以是全部或部分有效的UTF-8。 文献资料 什么时候应该使用字节字符串？ 有关更多详细信息，请参见文档的此部分： : 。 简而言之，当字节串不...
Rust从入门到实战系列七十六：使用字符串存储 UTF-8 编码的文本
wanmeijuhao的博客
03-02 277
称作 String 的类型是由标准库提供的，而没有写进核心语言部分，它是可增长的、可变的、有所有权的、UTF-8 编码的字符串类型。在集合章节中讨论字符串的原因是，字符串就是作为字节的集合外加一些方法实现的，当这些字节被解释为文本时，这些方法提供了实用的功能。字符串是新晋 Rustacean 们通常会被困住的领域，这是由于三方面理由的结合：Rust 倾向于确保暴露出可能的错误，字符串是比很多程序员所想象的要更为复杂的数据结构，以及 UTF-8。通常字符串会有初始数据，因为我们希望一开始就有这个字符串。
Rust 标准库字符串类型String及其46种常用方法
汉阳Hann's Home
06-02 6263
String是一个可变引用，而&str是对该字符串的不可变引用，即可以更改String的数据，但是不能操作&str的数据。String 类型来自标准库，它是可修改、可变长度、可拥有所有权的同样使用UTF-8编码，且它不以空(null)值终止，实际上就是对Vec的包装，在堆内存上分配一个字符串。由&[u8]表示，UTF-8编码的字符串的引用，字符串字面值，也称作字符串切片。.split()方法：该方法返回一个分割迭代器，可以根据指定的分隔符将字符串分割成多个子字符串，然后遍历每个子字符串。
rust 字符编码编解码库-encoding
u013195275的博客
05-08 6704
Cargo.toml增加依赖 encoding = "0.2.33" rust默认使用utf-8编码，但使用一些第三方库进行一些功能开发时会遇到乱码问题，乱码一般就是解码方式不对，比如用GBK编码，然后就UTF-8方式解码。我在windows系统下用winrar压缩一个中文名字的文件，用rust的zip库解压时，发现文件名乱码。怀疑winrar进行文件名进行编码是使用了操作系统本地字符串(中...
Rust-FFI复杂参数传递处理方式2--字符和字符串类型
phthon1997的博客
09-01 1167
使用std::ffi::CStr提供的from_ptr方法包装 C 的字符串指针，它基于空字符’\0’来计算字符串的长度，并可以通过它将外部 C 字符串转换为 Rust 的 &str和String。和CStr表示从C中来，rust不拥有归属权的字符串相反，CString表示由rust分配，Rust拥有所有权，可以进行修改，用以传给C程序的字符串。我们必须确保 C 中的字符串是有效的UTF-8编码，且引用字符串的指针不能为 NULL，因为 Rust 的引用不允许为 NULL。...
rust报错“Utf8Error { valid_up_to: 1, error_len: Some(1) } }”
Program with head, not hand
07-31 1011
是Rust标准库中的一个方法，用于将字节序列解码为UTF-8字符串。它的作用是尽可能地将无效的字节序列转换为有效的Unicode字符，以便进行后续处理。这个错误通常表示在尝试将字节序列解码为UTF-8字符时出现问题。它指出在索引1处发现了无效的字节序列，并且错误的长度为1个字节。输出结果将是：“Hello, �World”。在这个例子中，无效的字节序列被替换为了"�"符号。在上面的示例中，我们定义了一个包含无效字节序列的字节数组。最后，我们打印输出该字符串。
【Rust快速入门】-- 网络请求库
xzpdxz的博客
02-10 1847
网络操作库 第一种方式 [dependencies] curl = "0.4.42" 第二种方式 [dependencies] reqwest = { version = "0.11", features = ["json"] } tokio = { version = "1", features = ["full"] } // 网络编程操作 use std::io::prelude::*; struct CurlRequests {} // curl库的请求封装 doc: https://c
也谈UTF-8转换为Unicode方法
烟波浩渺
03-23 1098
几天前需要做UTF-8和GB的转换，主要是因为进程间通信需要使用这种模式。他使用C#开发的程序需要和我VC++写的程序之间进行通信的时候，发现他给我传过来的数据是UTF-8类型的。因此在CSDN中搜索UTF-8和unicode的转换方法，发现查找到的文章方法都比较复杂，所以就开始在MSDN中查找。最终根据查找到的资料，写了如下的代码进行UTF-8和Unicode的转化。BSTR UTF2GB(LP
Rust 的from_utf8()和as_bytes()等函数
mutourend的博客
09-17 8785
1. std::str 代表的是Unicode string slices. Rust有两大string类型，一个是&str（其内容为borrowed），另一个是String。 常用的string声明为&str类型： let hello_world = "Hello, World!"; //声明了一个字符串字面量。 上面例子声明了一个字符串字面量，字符串字面量具有static生命...
Rust和golang之字符串
KingEasternSun的专栏
12-22 2909
Rust 赋值 取子串 golang 赋值 取子串 拼接 UTF-8
详细地演示gb18030到unicode|utf8的转码过程（RUST语言）
weixin_34032827的博客
02-21 2262
2019独角兽企业重金招聘Python工程师标准>>> ...
（转）关于字符编码的八个点
Julia & Rust & Python
03-04 1929
作者：匿名用户 链接：https://www.zhihu.com/question/38500793/answer/76810212 来源：知乎 著作权归作者所有，转载请联系作者获得授权。先从字符编码讲起。 1、美国人首先对其英文字符进行了编码，也就是最早的ascii码，用一个字节的低7位来表示英文的128个字符，高1位统一为0；
Rust编程指南：深入Rust-by-Example
"rust-by-example 是一份详细的 Rust 编程语言教程，旨在帮助学习者掌握 Rust 语言的核心概念和语法。教程通过丰富的示例来解释各个主题，涵盖从基础到高级的各种内容。" 在 Rust 语言中，学习者首先会接触到的是 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值