C#移除字符串中的不可见Unicode字符

于 2023-02-03 08:00:39 发布
阅读量732 收藏 1
点赞数
文章标签： 数据库
原文链接：https://mp.weixin.qq.com/s?__biz=MzAwNTMxMzg1MA==&mid=2654095391&idx=3&sn=d807ab8c16e9f1028b04ddcc842cd2f5&chksm=80d86c4ab7afe55c4b5caed8a60bacd986c2f7dc40230ff5cf7a0a63297ebc65de6b3f5a7088&scene=126&sessionid=0
版权

1背景

最近发现某个数据采集的系统拿下来的数据，有些字段的JSON被莫名截断了，导致后续数据分析的时候解析JSON失败。

类似这样

{"title": "你好

或者这样，多了个双引号啥的

{"title":""你好"}

因为数据库是Oracle，起初以为是Oracle这老古董出问题了，结果一番折腾，把每条写入数据的SQL语句都拿出来，看起来里面的JSON格式都没问题。

这也太诡异了吧，看起来没毛病，但就为啥JSON被随机截断呢？

最后我试着把整段SQL放在Rider的 query console 里面执行，然后再去数据库里读取这段JSON，居然发现变成这样了：

{"title":"？你好"}

啊这，看到这个大大的问号，立刻就能知道这个“你好”里面不止是这两个字，肯定含有不可见的Unicode字符。

然后把这段JSON复制出来，用16进制模式打开，果然看到在“你好”前面有一个 \u0020 的字符…

2Unicode码表

  • 0000-007F：C0控制符及基本拉丁文 (C0 Control and Basic Latin)

  • 0080-00FF：C1控制符及拉丁文补充-1 (C1 Control and Latin 1 Supplement)

  • 0100-017F：拉丁文扩展-A (Latin Extended-A)

  • 0180-024F：拉丁文扩展-B (Latin Extended-B)

  • 0250-02AF：国际音标扩展 (IPA Extensions)

  • 02B0-02FF：空白修饰字母 (Spacing Modifiers)

  • ……

这里再附上部分 Unicode 表格

U+0123456789ABCDEF
0000NULSOHSTXETXEOTENQACKBELBSHTLFVTFFCRSOSI
0010DLEDC1DC2DC3DC4NAKSYNETBCANEMSUBESCFSGSRSUS
0020
!"#$%&'()*+,-./
00300123456789:;<=>?
0040@ABCDEFGHIJKLMNO
0050PQRSTUVWXYZ[\]^_
0060`abcdefghijklmno

可以看到上面那个 \u0020 在第三行第一列，是一个不可见字符，躲在标题的前面

也就是因为这个 Unicode 字符，Oracle无法正确解析，所以导致了插入数据的时候错乱了

所以破案了，就是系统前台使用人员，在输入的时候不知道咋滴搞了个Unicode字符进去…

解决方法就是我这边采集的时候再做一次过滤…

没想到C#要搞个过滤 Unicode 还挺折腾的，资料太少…

最后还是参考了Java的资料搞的。= =...

3代码

代码如下

写了个扩展方法来过滤

public static class StringExt { 
    // 控制字符
    private static readonly Regex ControlCharRegex = new Regex(@"[\p{C}]", RegexOptions.Compiled);

    /// <summary>
    /// 移除控制字符
    /// </summary>
    public static string RemoveControlChars(this string text) {
        return ControlCharRegex.Replace(text, string.Empty);
    }
}

要使用的时候就这样

var outStr = "带有Unicode的字符串".RemoveControlChars();

搞定。

4参考资料

  • UniCode编码表及部分不可见字符过滤方案 - https://www.cnblogs.com/fan-yuan/p/8176886.html

  • https://stackoverflow.com/questions/6198986/how-can-i-replace-non-printable-unicode-characters-in-java

dotNET跨平台
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
C# 去掉特定字符（使用ASC码）
10-29
C#去掉特定字符（使用ASC码），本方法可以直接调用。
C#字符串操作
08-17
1.获得汉字的区位码 2.unicode解码方式下的汉字码 3.unicode反解码为汉字 4.default方式反解码为汉字 5.取字符串长度 6.字符串相加 7.使用split分割字符串5种方法 8.标记（tokenizing）是从文本中提取具体内容的过程。 9.颠倒字符串次序 10.字符串的插入、删除和替换 11.从字符串中提取子串 12、比较字符串 13、字符串格式化 13.1 格式化数字 13.2 格式化日期 13.3 格式化枚举
python去除删除数据中\u0000\u0001等unicode字符串的代码
12-20
py文件为utf-8格式 #!/usr/bin/env python # -*- coding:utf-8 -*- a = "system\u0000" b = re.sub(u'\u0000', "", a) print(b) ## b="system" 补充知识：Python中,如何将反斜杠u类型(\uXXXX)的字符串,转换为对应的unicode的字符 【背景】 类似于： \u3232\u6674 的字符串，转换为对应的unicode字符。 【解决过程】 对应的，可以通过Python的decode函数去解码，其中自定原始字符串位unicode-ecape，就可以了。 完整的
18.C#字符串和正则表达式参考手册 影印版
03-07
C#字符串和正则表达式参考手册 目 录 第1章 系统处理文本的方式 1 1.1 .NET Framework 1 1.1.1 公共语言运行时 2 1.1.2 .NET Framework类库 3 1.2 文本是一种数据类型 4 1.2.1 C#的数据类型 5 1.2.2 字符和字符集 6 1.2.3 字符串数据类型 10 1.3 文本存储 10 1.3.1 高速缓存技术 12 1.3.2 内置 13 1.3.3 其他方法 14 1.3.4 .NET实现 14 1.4 字符串操作 18 1.4.1 连接字符串 18 1.4.2 从字符串中提取子串 20 1.4.3 比较字符串 20 1.4.4 字符串转换 21 1.4.5 格式化字符串 21 1.5 字符串用法 22 1.5.1 构建字符串 22 1.5.2 分析字符串 24 1.6 国际化 25 1.7 小结 27 第2章 String类和StringBuilder类 28 2.1 学习本章要用到的工具 28 2.2 文本结构 29 2.3 String类 30 2.3.1 内置字符串 32 2.3.2 构建 34 2.3.3 字符串的转义 36 2.4 StringBuilder类 37 2.4.1 长度和容量 39 2.4.2 ToString()方法 41 2.5 字符串操作 42 2.5.1 连接字符串 42 2.5.2 从字符串中提取子串 45 2.5.3 比较字符串 46 2.5.4 格式化 50 2.6 字符串的使用 54 2.6.1 建立字符串 54 2.6.2 标记 58 2.6.3 颠倒字符串次序 61 2.6.4 插入、删除和替换 61 2.7 小结 66 第3章 字符串转换 68 3.1 ToString()方法 68 3.2 把数值表示为字符串 69 3.3 把日期和时间表示为字符串 74 3.4 把其他对象表示为字符串 76 3.5 用字符串表示字符串 78 3.6 把字符串转换为其他类型 79 3.6.1 把字符串转换成数字 79 3.6.2 把字符串转换为日期和时间 82 3.7 在集合与数组之间移动字符串 84 3.7.1 数组 85 3.7.2 ArrayList对象 86 3.7.3 IDictionary对象 88 3.8 小结 88 第4章 国际化 89 4.1 Unicode 89 4.2 .NET Framework的编码类 91 4.3 处理字符串 95 4.3.1 CultureInfo类 96 4.3.2 大写和小写 99 4.3.3 不需要区分文化的操作 101 4.3.4 排序 101 4.4 处理字符 106 4.4.1 关于字符的必要信息 107 4.4.2 代理对 107 4.4.3 组合字符 112 4.5 格式化Unicode字符串 114 4.6 字符串用作资源 115 4.7 小结 119 第5章 正则表达式 120 5.1 System.Text.RegularExpressions命名空间 120 5.2 Regex类 121 5.2.1 RegexOptions枚举 121 5.2.2 类构造函数 122 5.2.3 IsMatch()方法 123 5.2.4 Replace()方法 124 5.2.5 Split()方法 125 5.3 Match类和MatchCollection类 127 5.4 Regex测试器示例 131 5.5 正则表达式基础语法 139 5.5.1 匹配不同类型的字符 139 5.5.2 指定匹配位置 141 5.5.3 指定重复字符 142 5.5.4 指定替换 149 5.5.5 特殊字符 149 5.6 小结 151 第6章 正则表达式的高级概念 152 6.1 分组、替换和反向引用 152 6.1.1 简单的分组 153 6.1.2 Group类和GroupCollection类 156 6.1.3 替换 161 6.1.4 反向引用 162 6.1.5 高级组 163 6.2 在正则表达式中作决策 168 6.3 在正则表达式内设定选项 171 6.4 正则表达式引擎的规则 171 6.5 小结 173 第7章 正则表达式模式 174 7.1 验证字符 174 7.2 验证数字 175 7.2.1 只包含数字 175 7.2.2 只包含整型数 175 7.2.3 只包含浮点数 176 7.3 验证电话号码 177 7.4 验证邮政编码 18
C# for CSDN 乱七八糟的看不懂
06-03
没法下载，到这里折腾一把试试。 本文由abc2253130贡献 doc文档可能在WAP端浏览体验不佳。建议您优先选择TXT，或下载源文件到本机查看。 C#（WINFORM）学习 一、 C#基础 基础 类型和变量 类型和变量 类型 C# 支持两种类型：“值类型”和“引用类型”。值类型包括简单类型（如 char、int 和 float 等）、枚举类型和结构类型。引用类型包括类 (Class)类 型、接口类型、委托类型和数组类型。 变量的类型声明 变量的类型声明 每个变量必须预先声明其类型。如 int a; int b = 100; float j = 4.5; string s1; 用 object 可以表示所有的类型。 预定义类型 下表列出了预定义类型，并说明如何使用。 类型 object 说明 所有其他类型的最终 基类型 字符串类型； 字符串是 Unicode 字符序列 8 位有符号整型 16 位有符号整型 32 位有符号整型 64 位有符号整型 示例 object o = null; 范围 string sbyte short int long string s = "hello"; sbyte val = 12; short val = 12; int val = 12; long val1 = 12; -128 到 127 -32,768 到 32,767 -2,147,483,648 2,147,483,647 -9,223,372,036,854,775,808 到 第1页 C#（WINFORM）学习 long val2 = 34L; 到 9,223,372,036,854,775,807 byte ushort 8 位无符号整型 16 位无符号整型 byte val1 = 12; ushort val1 = 12; uint val1 = 12; uint 32 位无符号整型 uint val2 = 34U; ulong val1 = 12; ulong val2 = 34U; ulong 64 位无符号整型 ulong val3 = 56L; ulong val4 = 78UL; float 单精度浮点型 float val = 1.23F;7 位 double val1 = 1.23; double 双精度浮点型 double val2 = ±5.0 × 10?324 ±1.7 × 10 308 0 到 255 0 到 65,535 0 到 4,294,967,295 0 到 18,446,744,073,709,551,615 ±1.5 × 10?45 ±3.4 × 10 38 到 到 4.56D;15-16 布尔型；bool 值或为 真或为假 字符类型；char 值是 一个 Unicode 字符 精确的小数类型， 具有 28 个有效数字 bool val1 = true; bool val2 = false; char val = 'h'; decimal val = bool char decimal DateTime ±1.0 × 10?28 ±7.9 × 10 28 到 1.23M;28-29 变量转换 简单转换： float f = 100.1234f; 可以用括号转换： short s = (short)f 也可以利用 Convert 方法来转换： string s1; s1=Convert.ToString(a); MessageBox.Show(s1); 常用 Convert 方法有： 第2页 C#（WINFORM）学习 C# Convert.ToBoolean Convert.ToByte Convert.ToChar Convert.ToDateTime Convert.ToDecimal Convert.ToDouble Convert.ToInt16 Convert.ToInt32 Convert.ToInt64 Convert.ToSByte Convert.ToSingle Convert.ToString Convert.ToUInt16 Convert.ToUInt32 Convert.ToUInt64 备注 Math 类 常用科学计算方法： C# Math.Abs Math.Sqrt Math.Ro
C#实现简单过滤非法字符实例
09-03
主要介绍了C#实现简单过滤非法字符的方法,涉及C#针对字符串遍历与判断的相关技巧,非常简单实用,需要的朋友可以参考下
C#去除字符串中的不可见内容（改正）
chengjl8的博客
07-31 2407
C#去除字符串中的不可见内容（依据网友经验，并进行了改正）
c# 处理空白字符，空白字符是指在屏幕不会显示出来的字符
软件研发实战应用技术分享
04-29 3922
空白字符是指在屏幕不会显示出来的字符（如空格，制表符tab，回车换行等）。空格、制表符、换行符、回车、换页垂直制表符和换行符称为 “空白字符”，因为它们为与间距单词和行在打印的页 )的用途可以读取更加轻松。  标记分隔 (一定) 由空白字符和由其他标记，例如运算符和标点。在分析代码时， C 编译器忽略空白字符，除非使用它们作为分隔符或作为字符常数或字符串文本元素。使用空白字符使程序更易于阅读。请注
C#转义字符的两种处理方式
mzhangel的专栏
11-13 1505
当声明一个字符串变量时有一些字符是不能以平常的方式包含在变量中的。为了解决这个问题，C#提供了两种不同的C#转义字符方法。 第一种C#转义字符方法是使用’转义序列’。例如，我们想得到如下的字符串 “Hello World How are you” 我们可以使用下面的语句声明字符串：string a = "\"Hello World\nHow are you\""。这条语句中使用了
c# 不可见的字符，删除？
dingxingmei的专栏
07-12 7966
除了#10((ASC为10号的字符)    表示换行    #13表示回车       还有: 进制 十六进制 十进制 字符 八进制 十六进制 十进制 字符 00 00 0 nul 100 40 64 @ 01 01 1 soh 101 41 65 A 02 02 2 stx 102 42 66 B 03 03 3 etx 103 43 67 C 04 04 4 eot 104 44 68 D
C# System.FormatException:“字符串的末尾有其他无法分析的字符。”
小鹰信息技术服务部
07-04 4422
C#，某方法中，要把一个字符串转整数，但是报错： System.FormatException:“字符串的末尾有其他无法分析的字符。” Convert.ToInt32(str.Trim(), 2); 根据提示，看看字符串的末尾有没有什么奇怪的符号，比如空格、回车等，实际输出发现没有，前面代码逻辑中也不可能出现这些字符。 网上这个问题讨论的内容也很少。 探索一番，找到了原因。输出字符...
C# WinForm 字符串中包含 NUL导致显示不全
小鹰信息技术服务部
12-31 992
C#调用PowerShell指令得到的返回值中，有时会出现无法显示的字符，比如： Get-Tpm指令，返回： TpmPresent : True TpmReady : True TpmEnabled : True TpmActivated : True TpmOwned : True RestartPending : True
C#.net读取Excel表中的数据时，有些字段内容(字符串、数字)读取不到的解决办法
GUO_LOVER的博客
09-01 1万+
导入Excel时，会丢失一些手机号，或者固定电话号 问题出在于，他们将数据填入Excel时，有些格式是数值类型，有些是文本类型 当用OLEDB读取Excel的时候,在Extended Properties中若没有配置IMEX=1的属性,微软的处理机制是将列转换为同一类型来读取的.例如在第一行写的数值格式,而第二行写的文本格式,就会出现某些列有值却读不出来.其实问题也
C#中字符串中含有\0的问题处理
热门推荐
silverduckya的专栏
06-29 1万+
问题描述 在byte转换为字符串的过程中，如果byte的值为0，则转换成字符串时变为’\0’字符，’\0’字符在C#中意味着字符串结束，如果后面再有字符，则读取字符串的程序也不能读取和显示出来。 如下图所示，构造一个字节数组，其中含有’\0’字符，在程序运行时通过跟踪可以看出： (1)  字符串中含有’\0’字符及后续字符； (2)  二进制数组中含有所有字符，并且’\0’字符的值为0；
【转】Unicode转义(\uXXXX)的编码和解码
iteye_14343的博客
06-25 2835
原文链接 http://netwjx.github.io/blog/2012/07/07/encode-and-decode-unicode-escape-string/ 在涉及Web前端开发时, 有时会遇到\uXXXX格式表示的字符, 其中XXXX是16进制数字的字符串表示形式, 在js中这个叫Unicode转义字符, 和\n \r同属于转义字符. 在其他语言中也有类似的, 可能还有其它变...
C#去除字符串中的不可见内容
a237428367的专栏
05-17 9449
<br />  字符串中如果有   you make me smile ᶤ ᶫᵒᵛᵉᵧₒᵤ♥/"    这类不可见的字符 如何处理？<br />一句正则搞定<br />string s=you make me smile ᶤ ᶫᵒᵛᵉᵧₒᵤ♥/"; s = Regex.Replace(s, @"[^/x21-/x7E]", " "); //替换所有不可见字符为空格 
C#去掉字符串中的不可见字符
最新发布
07-23
在 C# 中，您可以使用 `string` 类的 `Replace` 方法结合正则表达式来去除字符串中的不可见字符。以下是一个示例代码： ```csharp using System; using System.Text.RegularExpressions; class Program { static void Main() { string input = "Hello\u200B, World!\n"; string cleanedString = RemoveInvisibleCharacters(input); Console.WriteLine(cleanedString); } static string RemoveInvisibleCharacters(string input) { // 使用正则表达式替换不可见字符 string pattern = @"[\p{C}]"; string cleanedString = Regex.Replace(input, pattern, ""); return cleanedString; } } ``` 在上述示例中，我们定义了一个 `RemoveInvisibleCharacters` 方法，它使用 `Regex.Replace` 方法和正则表达式模式 `[\p{C}]` 来替换不可见字符。这个模式匹配 Unicode 中的控制字符（不可见字符）。 通过调用 `RemoveInvisibleCharacters` 方法，可以将字符串中的不可见字符去除，并返回清理后的字符串。 请注意，这只会去除不可见字符，但并不会去除其他空白字符（如空格、制表符等）。如果您还需要去除其他空白字符，请使用适当的正则表达式模式来进行替换。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值