Hive
宛风轻云
这个作者很懒,什么都没留下…
展开
-
hive学习中错误总结(一)
错误提示: [ERROR] Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected at jline.TerminalFactory.cre原创 2016-05-08 01:04:52 · 415 阅读 · 0 评论 -
hive学习中错误总结(二)
错误原因:hive表做了分区,项目需要统计当月的数据,我们将数据按月进行了加工然后做了存储。相当于ODS-->DW-->APP的过程。整个逻辑已经实现,需要做一个工作流的调度,项目组使用的airflow;坑就出现在airflow的调度,让我搞了五个小时(实际太菜),逻辑代码运行一点没问题,放在airflow调度就报错,一度崩溃。 每次导数都是静态分区的导数,需要动态传参数,airfl...原创 2018-11-03 13:33:41 · 194 阅读 · 0 评论 -
hive 开窗日期类型错位导致无法排序
错误:Underlying error: Primitve type DATE not supported in Value Boundary expression 解决方式将date 类型转换成string,cast(column as string)原创 2019-01-10 11:52:54 · 495 阅读 · 0 评论 -
hive记录中包含换行符时存储格式为textfile导致多行记录问题
在处理hive数据记录时发现orc格式时本来一行记录,但是在转textfile文件时导致多行错误记录;在排查中发现textfile使用‘\n’来识别行数据,数据中包含换行符导致这样的错误。处理方式,一:使用SQL的方式过滤掉这类字符(regexp_replace(column_name,'\n|\t|\r','');二:在处理etl阶段过滤这类字符。...原创 2019-02-19 11:54:58 · 3565 阅读 · 0 评论