hive -f 报错 FAILED:ParseException line 1:5 cannot recognize in ‘set‘ ‘hive‘ ‘.‘ instatement

问题:hive -f 执行sql文件,报错。
FAILED:ParseException line 1:5 cannot recognize in ‘set’ ‘hive’ ‘.’ instatement(state=42000,code=40000)
处理过程:
SQL文件最开始的参数设置报错

set hive.exec.max.dynamic.partitions=50000;
set hive.exec.max.dynamic.partitions.pernode=10000;
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict; 

这些参数设置,在hive终端可以正常执行,所以考虑报错原因是编码问题。但是sql文件是utf-8,没有问题。

file test.sql
test.sql:UTF-8 Unicode(with BOM) text

于是在服务器创建一个新的文件test.sqlbak,直接将代码粘贴到服务器,可以正常运行,查看文件编码。

file test.sqlbak
test.sql:UTF-8 Unicode text

发现两个文件编码有差异,差异之处就是 BOM
于是三个办法处理:
1、Linux 命令处理

#查找BOM头文件
grep -r -I -l $'^\xEF\xBB\xBF' ./
#替换BOM头文件
find ./ -type f -exec sed -i 's/\xEF\xBB\xBF//' {} \;

2、用scp上传文件时,配置以下设置:
在这里插入图片描述
上传后的文件,就可以正常执行了。
3、将文件编码修改为UTF-8(无BOM)
我用的是Notepad++。
在这里插入图片描述
配置后,新建文件,将代码复制过来,重新上传。
问题解决。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值