写hive sql和shell脚本时遇到几个蛋疼的问题！

最新推荐文章于 2023-11-11 19:09:35 发布
VIP文章 最新推荐文章于 2023-11-11 19:09:35 发布
阅读量2.7k 收藏 1
点赞数 1
分类专栏： hive 文章标签： hive shell hadoop MapReduce mahout
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013361361/article/details/40082027
版权

错误一：

Hive的where后不能用字段的别名，

 

错误二：

hive的groupby中不能用自定义函数，否则报错（用嵌套select代替）

 

错误三：

执行：$ ./hive_game_operationstatis5.sh时，报错信息如下：

./hive_game_operationstatis5.sh:line 11: [: missing `]'
./hive_game_operationstatis5.sh:line 17: /tmp/statis_activitysourcestatis20141014/statis_activitysourcestatis120141014.txt:No such file or directory
./hive_game_operationstatis5.sh:line 36:/tmp/statis_activitysourcestatis20141014/statis_activitysourcestatis220141014.txt:No such file or directory
ERROR 2 (HY000) atline 1: File'/tmp/statis_activitysourcestatis20141014/statis_activitysourcestatis120141014.txt'not found (Errcode: 2)
ERROR 2 (HY000) atline 1: File
最低0.47元/天 解锁文章
52Pig
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell脚本中取消重定向的方法实例
09-15
主要介绍了shell脚本中取消重定向的方法实例,本文直接给出代码实例,需要的朋友可以参考下
mysql (errcode 2)_ERROR 2 (HY000): File '...........................' not found (Errcode: 2)
weixin_28882149的博客
01-28 2082
LOAD DATA LOCAL INFILE '...'INTO TABLE `d_bigdata`.`IP_residence_all_2018W06_single_BD09_WGS84`CHARACTER SET utf8FIELDS TERMINATED BY '\t'ENCLOSED BY '\"'LINES TERMINATED BY '\n' IGNORE 1 LINES;上面这段...
linux：用当前日期作为文件名，报错：模糊的重定向
最新发布
lemon9597的博客
11-11 528
当使用当前日期（年-月-日 时:分:秒）作为文件名称时，运行shell脚本后报错。
大数据 Hive
Notzuonotdied的博客
09-22 370
前言
执行hive -e sql 报错
大JAVA解决方案
05-04 2110
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)FAILED: ParseException line 1:6 cannot recognize input near '<EOF>' '<EOF>' '<EOF>' in select clause[wangshumin@centoshostnameK...
hive sql遇到的问题
weixin_34217773的博客
01-08 260
记录下工作中，使用hive sql遇到的问题，和大家共享。   某个字段条件过多，查询条件失效 select * from login where dt='20130101' and (ver !='3.1' or ver !='3.2' or ver != '4.0' or ver != '5.2'); 备注:感谢 杨庆荣的指导，这里笔误，其实修改为如下的sql，功能可以实现，该...
unix shell 与if相关参数
cuilan3310的博客
05-21 1404
[ -a FILE ] 如果 FILE 存在则为真。 [ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。 [ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。 [ -d FILE...
shell脚本中报binary operator expected错
热门推荐
qq_43473129的博客
01-20 2万+
shell脚本中遇到的坑 如下代码，报错【binary operator expected】 这个错说什么期望二进制运算符，没搞懂 # get date if [ -z $1 ]; then echo 'no date set, exit now' exit 1 fi d1=$(date -d "$1" +%Y-%m-%d" "%H:%M:%S) if [ -z $2 ]; the...
shell中循环调用hive sql 脚本的方法
09-15
今天小编就为大家分享一篇shell中循环调用hive sql 脚本的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
hive-shell批量命令执行脚本的实现方法
09-15
今天小编就为大家分享一篇hive-shell批量命令执行脚本的实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Spark-shell批量命令执行脚本的方法
01-10
批量执行spark-shell命令，并指定提交参数 #!/bin/bash source /etc/profile exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --...sql(set hive.exec.dynamic.partition=true
shell 调度的常用命令
01-20
单个任务下，常见的几个问题 日期处理 路径问题 变量替换 如何记录任务的耗时 后台跑数据问题 日期处理 日期处理的场景 日期处理是关于如何获取日期以及格式化日期。举个最常见的例子，销售类报表是领导都要看的。...
Linux集群中解决Hive交互shell中 show databases没有反应(包含Hive按照步骤)
qq_45739020的博客
11-19 2462
1.第一种解决方案 在Hive服务中输入命令行代码一定要规范，输入完命令行代码后要以 ； 结尾 错误示范效果（没有以 ; 结尾的）示例： Hive 服务都是不识别的 正确示范效果 如果不是如上所述那就只能逐一排查 第二种解决方案（包含安装Hive） 第一步：查看系统自带的mysql的rpm包 （确认是否少包） rpm -qa | grep mysql 第二步：安装mysql的rpm包...
hiveshell不能执行select语句问题
我见青山多妩媚，料青山见我应如是
12-22 2096
最近碰到一个很玄学的问题，就是我的CDH集群中部署的hive，在hue上可以执行hive查询语句，但是到hiveshell中不能执行！废话不多说直接看报错图吧 猛的一看以为缺啥jar包，但是想想不应该啊，我用cludera CDH部署的，然后带着这个问题去问度娘，度娘告诉我说不hive版本与hadoop版本不一致，我当时是崩溃的，不应该啊，我cdh、 部署不存在这个问题的。然后各种求教
shell脚本启动 ：字符串判空有空格报错：binary operator expected
咖啡的博客
04-15 8772
使用-z或-n对一个变量判空时，需要注意若直接使用[ -n ${ARG} ]这种形式，若${ARG}中有空格将会报错， ARG="sd dd" if [ -n ${ARG} ]; then echo 'ARG:' ${ARG} else echo 'ARG is empty.' fi 输出： line 27: [: sd: binary operator expected...
hive错误排查一：hive中执行 drop table命令卡住，删除表不成功
weixin_30907935的博客
03-09 1403
起因 公司用的AWS EMR上的hive，突然不能删除表了。 经过 分析来看，估计是元数据那块出了问题。从元数据入手，元数据存在mysql的hive数据库中 直接使用hive配置文件hive-site.xml中的用户名密码访问mysql数据库 mysql -h ip -uhive -p ERROR 1045 (28000): Access denied for user 'hive'@'...
Hive SQL 使用时的注意事项和一些踩过的坑
止鱼
02-10 1万+
1· Hive作为大数据平台下的sql语言极易上手，又难以精通，内部实现上，比如在Hadoop平台上，Hive会将sql转换为mp程序去处理 2· 由于sql被转换成了mp程序，在Hadoop中，一条sql会启动多个job, 而启动job任务是需要花费时间和机器资源的，所以在书写Hivesql时，要本着：尽量减少嵌套层次以减少job任务的原则 3· 每条group语句会多启动一个job, 所以
Linux下shell脚本报错 [: test: unexpected operator
hjxu2016的博客
11-08 2261
最近编译 ssd的create_list.sh脚本遇到 [: test: unexpected operator的问题, 后来发现是由于 []等问题引起的,查阅资料发现是 Linux默认sh链接到dash的,和bash不兼容, dash应该也是和bash相似的一种shell脚本 解决方法: sudo dpkg-reconfigure dash 选择否/No 就可以了...
hive drop table报错：FAILED: SemanticException MetaException(message:Timeout when executing method: g
52Pig的专栏
01-15 6188
hive中drop 一个表时，报错： FAILED: SemanticException MetaException(message:Timeout when executing method: get_partitions_by_expr) 元数据异常，网上有说将表中数据删除然后再drop表，删除部分hdfs上数据后重新drop表发现还是报此错。 由于表中数据太多，删除hdfs
Hivesql怎么写入shell脚本
05-26
在shell脚本中，可以通过以下方式将Hive SQL语句写入： 1. 在shell脚本中使用Hive命令直接执行SQL语句： ```shell #!/bin/bash hive -e "INSERT INTO TABLE my_table VALUES (1, 'hello'), (2, 'world');" ``` 2....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值