MaxCompute 中如何处理异常字符

阿里云技术

于 2023-02-14 17:03:04 发布

阅读量728

点赞数

文章标签： odps 大数据数据仓库云计算

本文链接：https://blog.csdn.net/weixin_43970890/article/details/129030112

版权

在MaxCompute中，当遇到数据同步后的脏数据，如含有不可见字符导致显示问题，可以使用trim()、replace()函数或正则表达式进行数据清洗。通过Unicode编码转换工具识别异常字符，然后使用SQL的函数进行替换或删除，确保数据的准确性和展示效果。

摘要由CSDN通过智能技术生成

在处理数据时，当业务数据同步至MaxCompute后，会产生一些含异常字符的脏数据，比如字段中包含了一个不可见字符，在DataWorks中显示不出来，但在BI界面又会显示成其他字符，影响整体观感。这种情况，通常我们的解法是，将异常的字符洗掉，下面来介绍几种常见的处理异常字符的方法。

如下图，可以看到“异常name”和“正常name”的 length值不同，多了个不可见字符，但是我们并不能看出来啥。后期做数据处理或数据展示可能成为一个难以定位的问题。

SELECT 
  name as 异常name,
  LENGTH(name) as 异常name长度,
  '北京'  as 正常name,
  LENGTH('北京') as 正常name长度
from tbl1 
where name RLIKE '北京';

结果：

关注

专栏目录