在使用regexp_extract、regexp_replace函数过滤特殊字符时,发现不同的执行情境下(hive -e;hive -f),正则表达式的内容有变化,表现为是否要添加"\"进行转义,hive -e "SQL"方式需要进行转义。
处理方案:
hive -e "SQL"方式执行:
hive -e "select regexp_replace(msg_context,'[\\^\\\\uoooo-\\\\uFFFF]','') as msg_context from pfs_sale_ucp_safe.gim_msg_info;"
hive -f SQL文件方式执行:
select regexp_replace(msg_context,'[^\\uoooo-\\uFFFF]','') as msg_context from pfs_sale_ucp_safe.gim_msg_info;
在用explain select regexp_replace(msg_context,'[^\\uoooo-\\uFFFF]','')as msg_context from pfs_sale_ucp_safe.gim_msg_info;查看执行计划可以看到最终执行的SQL,与我们输入的SQL有区别:具体显示为 regexp_replace(msg_context,'[^\uoooo-\uFFFF]',''),导致执行失败,需要进行转义。