当原始数据中包好了诸如'\u0001'、'\u0002'、'\u0003'等hive默认的column分隔字符时,在select数据时就可能出现数据格式错乱的情况,为了避免这类现象,可以用自定义的RegexSerDe规避这类特殊字符。
例子:
ac18148213512592717614403|1351259272977|0.44|ulc|302|302^R670777442^RLBX001442114792309^R670777442^R2^R2??a±à??=KJ-0005,?ò?ònickangning^R^R^R^Rip^A^Rumid^A^RbuyerNick^Awnwangning^RStoreCode^AKJ-0005
上面是一条原始数据,格式是traceId|time|rpcId|appName|queryKey|extendValue,extendValue是一个复合字段,可用字符'\u0018'(^R)劈成至少9列,前8列是意义固定,后面的每列是一个kv对,kv的分隔符是'\u0001'(^A)。
对于这样的例子,如果尝试在创建hive表时存在如下指定:
ROW FORMAT
SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES
( "input.regex" = "(.*)\\|(.*)\\|(.*)\\|(.*)\\|(.*)\\|(.*$)",
"output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s")
然后在加载数据后做select时就会发现展现出来的最后一列在“ip”后面没有了。
通过检验发现RegexSerDe按指定的正则切分完全正确,但hive在组装返回结果时会根据特殊字符(^A,^B,^C三种)做“二次切分”,因为例子中“ip”后面恰好有个^A所以被截断了,又因为"ip"所在的列是表的最后一列,所以"ip"后面的内容被直接丢掉了,否则会错位到表的下一列。
解决的办法就是用自定义的MyRegexSerDe对特殊字符做简单替换,相比原RegexSerDe,只增加上一个简单逻辑:
for (int c = 0; c < numColumns; c++) {
try {
//对原数据的最后一列做特殊字符替换
if (c == numColumns - 1) {
row.set(c, m.group(c + 1).replace((char)1, ','));
} else {
row.set(c, m.group(c + 1));
}
} catch (RuntimeException e) {
partialMatchedRows++;
if (partialMatchedRows >= nextPartialMatchedRows) {
nextPartialMatchedRows = getNextNumberToDisplay(nextPartialMatchedRows);
// Report the row
LOG.warn("" + partialMatchedRows
+ " partially unmatched rows are found, " + " cannot find group "
+ c + ": " + rowText);
}
row.set(c, null);
}
}
然后打包上传,执行hive sql时加载jar路径和指定自定义的RegexSerDe,问题得以解决。