Java 一些文本处理方法

https://yiyan.baidu.com/ 文心一言生成修改的笔记用，如有侵权请联系修改删除

Normalizer.normalize

Normalizer.normalize 是一个常用于文本处理中的方法，它主要用于对文本字符串进行规范化处理，确保具有相同意义的字符串具有统一的二进制描述。以下是关于 Normalizer.normalize 方法的一些关键点：

1. 用途：

   • 用于消除文本中可能存在的不同但语义上相同的字符差异，如全角和半角字符、不同的重音符号等。
   • 可以帮助简化文本处理流程，特别是在需要比较或处理不同来源的文本数据时。

2. 参数：

   • Normalizer.normalize 方法通常接受两个参数：一个是要进行规范化处理的字符串，另一个是 Normalizer.Form 的枚举值，用于指定规范化的形式。
   • Normalizer.Form 的枚举值包括：
     • Normalizer.Form.NFD：规范分解（Canonical Decomposition）
     • Normalizer.Form.NFC：规范分解后组合（Canonical Decomposition followed by Canonical Composition）
     • Normalizer.Form.NFKD：兼容分解（Compatibility Decomposition）
     • Normalizer.Form.NFKC：兼容分解后组合（Compatibility Decomposition followed by Canonical Composition）

3. 返回值：

   • 返回一个规范化后的字符串。

4. 示例：

   • 假设有一个包含全角尖括号的字符串 "﹤;reboot;﹥"，和一个包含半角尖括号的字符串 "<;reboot;>"。尽管它们在视觉上不同，但语义上可能相同。
   • 使用 Normalizer.normalize 方法，可以选择 Normalizer.Form.NFKC 来将全角尖括号转换为半角尖括号，从而得到统一的字符串表示。

5. 与其他数据预处理方法的区别：

   • 与归一化（MinMaxScaler）、标准化（StandardScaler）等方法不同，Normalizer.normalize 主要用于文本字符串的规范化处理，而不是数值数据的缩放或转换。

toLowerCase(Locale.ROOT)

在 Java 中，String 类的 toLowerCase() 方法有一个重载版本，它接受一个 Locale 参数。这个参数用于指定在将字符串转换为小写时应该使用哪种区域设置（locale-specific）的规则。这很重要，因为不同的语言或地区可能有不同的规则来定义哪些字符是大写，哪些是小写。

Locale.ROOT 是 Java Locale 类的一个特殊实例，它表示“根”区域设置。当你使用 Locale.ROOT 时，你实际上是请求字符串转换为小写时忽略任何特定于区域设置的规则，并使用最通用的、不依赖于任何特定语言或地区的规则。

但是，值得注意的是，对于大多数常见的 Unicode 字符（如英文字母），Locale.ROOT 和其他常见的 Locale 实例（如 Locale.US、Locale.UK、Locale.FRANCE 等）的行为通常是相同的。这是因为这些字符在所有区域设置中的大小写映射都是相同的。

然而，对于某些字符（如土耳其语中的 “I” 和 “i”），使用不同的 Locale 可能会导致不同的结果。土耳其语中的 “I” 在小写时变为 “ı”（带点的 i），而不是普通的 “i”。因此，如果你在处理可能包含这些字符的文本时，并且你需要确保按照特定区域设置的规则进行转换，那么使用带有 Locale 参数的 toLowerCase() 方法就很重要了。

总之，Locale.ROOT 在 toLowerCase() 方法中通常表示使用最通用的、不依赖于任何特定语言或地区的规则来将字符串转换为小写。但在处理某些特殊字符时，使用特定的 Locale 实例可能会得到不同的结果。