HIVE SQL中替换不可见字符的正则表达式

一.替换字符串中的空白字符

对于剔除字符串首尾的空格，使用较多的是trim()、ltrim()、rtrim()函数,但是他们无法去除字符串中间的空格。
这个时候通常会使用正则表达式来替换字符串中的空白字符\s表示匹配任何空白字符，包括空格、制表符、换页符等等, 等价于[ \f\n\r\t\v]。

select regexp_replace('  abcd  ef  g ','\\s+','');

返回结果：
‘abcdefg’

二.替换字符串中的无法解析的非法字符

在实际清洗过程中，发现即使使用了'\\s+'正则进行替换后，仍旧出现字符串中存在不可见字符的情况。这往往是因为上有数据在解析过程中未将无法解析的非法字符剔除掉。
这个时候可以使用regexp_replace(col_name,'[\\x00-\\x08\\x0B-\\x0C\\x0E-\\x1F]+|\\s+','')进一步对不可见字符进行处理。