Doris_Doris导入常见问题

Doris数据导入错误 ：the length of input is too larger than schema

可能原因：varchar长度设置过短

Doris表字段乱序

导入palo表中的csv本身无schema信息，csv与palo表字段顺序必须一致，否则会错乱

Doris数据文件中字段比表字段多 ：actual column number is more than schema column number.actual number

可能原因：字符串等存在特殊字符，与分隔符重复

解决方法 ：palo导入前替换制表符等特殊字符

检测方法 ：利用sublime搜索制表符

Reason: actual column number is more than schema column number.actual number: 40, column separator: [	], line delimiter: [
], schema number: 39; . src line [20230821	2023-08-21	all	12746105196	8.21	五期破风生鲜99-19	all	all	1985001	盛亚福源牛肉店	20157304372	上脑肉4斤清真黄牛肉牛外脊可以做烤肉、炒菜、牛排	all	新	13	13	247.0	1547.0	1794.0	119.0	9.9	9.9	147.9	572.9	9.9	9.9	147.9	572.9	1	1	2	5	1	1	2	4	0.07692307692307693	0.07692307692307693	0.15384615384615385	0.3076923076923077]; 
Reason: actual column number is more than schema column number.actual number: 40, column separator: [	], line delimiter: [
], schema number: 39; . src line [20230821	2023-08-21	all	all	8.21	五期破风生鲜99-19	生鲜	水产肉类/新鲜蔬果/熟食	1985001	盛亚福源牛肉店	20157304372	all	短小融合	老	8	8	152.0	952.0	1104.0	119.0	239.8	239.8	274.70000000000005	629.2	307.8	307.8	374.70000000000005	794.2	3	3	4	9	3	3	3	5	0.375	0.375	0.375	0.625]; 
Reason: actual column number is more than schema column number.actual number: 40, column separator: [	], line delimiter: [
], schema number: 39; . src line [20230821	2023-08-21	all	all	8.21	五期破风生鲜99-19	all	all	42172036	柒天商贸经销部	all	【30-40活虾速冻】巨无霸规格新鲜食用海捕3斤15-18包邮	all	新	13	13	247.0	1040.0	1287.0	80.0	0.0	197.0	197.0	266.9	0.0	207.0	207.0	276.9	0	2	2	3	0	1	1	2	0.0	0.07692307692307693	0.07692307692307693	0.15384615384615385]; 

解决方法，在前序逻辑加工时处理，如在hive侧进行处理 ：

regexp_replace(budget_id_all,'\\n|\\r|\\t',' ') as batch_id_all, --平台券id

参考文章 ：hive替换数据中的制表符和换行符_hive 替换换行符-CSDN博客