写hive sql和shell脚本时遇到几个蛋疼的问题！

最新推荐文章于 2024-05-17 08:26:16 发布
最新推荐文章于 2024-05-17 08:26:16 发布
阅读量2.7k 收藏 1
点赞数 1
分类专栏： hive 文章标签： hive shell hadoop MapReduce mahout
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013361361/article/details/40082027
版权
本文列举了在编写Hive SQL和Shell脚本时遇到的四个典型问题：Hive中字段别名在where后的使用限制，自定义函数无法在group by语句中直接使用，Shell脚本中创建目录的语法错误，以及Shell脚本中date命令的正确使用方式。通过错误分析和修正代码，帮助初学者避免类似问题。
摘要由CSDN通过智能技术生成

错误一：

Hive的where后不能用字段的别名，

 

错误二：

hive的groupby中不能用自定义函数，否则报错（用嵌套select代替）

 

错误三：

执行：$ ./hive_game_operationstatis5.sh时，报错信息如下：

./hive_game_operationstatis5.sh:line 11: [: missing `]'
./hive_game_operationstatis5.sh:line 17: /tmp/statis_activitysourcestatis20141014/statis_activitysourcestatis120141014.txt:No such file or directory
./hive_game_operationstatis5.sh:line 36:/tmp/statis_activitysourcestatis20141014/statis_activitysourcestatis220141014.txt:No such file or directory
ERROR 2 (HY000) atline 1: File'/tmp/statis_activitysourcestatis20141014/statis_activitysourcestatis120141014.txt'not found (Errcode: 2)
ERROR 2 (HY000) atline 1: File
最低0.47元/天 解锁文章
52Pig
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell中循环调用hive sql 脚本的方法
09-15
在IT行业中，尤其是在大数据处理和自动化任务执行的场景下，Shell脚本与Hive SQL的结合使用非常常见。本文将详细介绍如何在Shell脚本中循环调用Hive SQL语句，以便实现批量处理数据或者执行一系列相关的查询操作。 ...
大数据 Hive
Notzuonotdied的博客
09-22 382
前言
执行hive -e sql 报错
大JAVA解决方案
05-04 2134
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)FAILED: ParseException line 1:6 cannot recognize input near '<EOF>' '<EOF>' '<EOF>' in select clause[wangshumin@centoshostnameK...
sql写shell原理_sql注入写入shell的条件
最新发布
2401_84281655的博客
05-17 839
1. 知晓网站的绝对路径原因是因为在指定--os-shell参数时，期间会让你输入要写入木马的web路径，不然蚁剑如何连接获取方式有：（1）网页报错信息 （2）phpinfo等探针信息 （3）猜测常见web目录2. 对web目录有可写权限即secure_file_priv = ''配置为空原因是--os-shell参数写入shell使用的是select xx into outfile而secure_file_priv此配置。
hive sql遇到的问题
weixin_34217773的博客
01-08 272
记录下工作中，使用hive sql遇到的问题，和大家共享。   某个字段条件过多，查询条件失效 select * from login where dt='20130101' and (ver !='3.1' or ver !='3.2' or ver != '4.0' or ver != '5.2'); 备注:感谢 杨庆荣的指导，这里笔误，其实修改为如下的sql，功能可以实现，该...
shell脚本出现 ambiguous redirect
热门推荐
二黑黑黑
10-30 5万+
一、背景 在centos7执行脚本，经常出现报错情况。检查脚本并未发现异常，使用sh -x xxx.sh查看脚本运行情况发现问题。 二、步骤 ambiguous redirect，顾名思义为歧义重定向。我检查到了脚本里有一些echo $logfile 往变量里添加日志。前台在往shell脚本传参数时并未通过逻辑判断导致 $logfile 异常，从而脚本不知道改往哪些地方输入日志。 全局变量定义 $...
shell进阶之重定向，管道和过滤器，信号处理，sed和awk
enjoycoding悦码
08-30 1319
这篇博文介绍shell进阶内容包括shell重定向，管道和过滤器，信号处理，sed和awk，有问题及时在本博客或个人博客留言。 文章目录shell重定向输入输出标准输入标准输出标准错误重定向从文件输入从文本或字符串输入空文件创建/dev/null丢弃不需要的输出在单命令行进行标准输入输出重定向文件描述符使用exec命令指定用于输入的文件描述符指定用于输出的文件描述符关闭文件描述符打开用于读和写的文件描述符管道和过滤器管道过滤器信号处理子shell捕获trap语句移除捕获sed和awksed编辑器基础基本的
hive-shell批量命令执行脚本的实现方法
09-15
总结一下，这个脚本展示了如何通过Shell脚本来批量执行Hive命令，包括创建数据库、删除表、创建分区表、上传数据到HDFS以及修复表元数据。这种方法在需要自动化执行大量Hive操作时非常有用，例如在ETL流程或者数据...
使用shell脚本执行hive、sqoop命令的方法
09-15
1. **权限问题**：确保执行Shell脚本的用户有足够的权限来访问Hive和MySQL数据库。 2. **环境配置**：确保Hadoop、Hive和Sqoop等相关组件已经正确安装并配置好。 3. **错误处理**：在实际应用中，应添加适当的错误...
Spark-shell批量命令执行脚本的方法
01-10
批量执行spark-shell命令，并指定提交参数 #!/bin/bash source /etc/profile exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --...sql(set hive.exec.dynamic.partition=true
shell脚本出现 : ambiguous redirect
ilqgffvramusm2864的博客
03-05 8412
windows传到linux的sh文件发生: ambiguous redirect 问题 ambiguous redirect为歧义重定向 发现是由于 命令换行符导致的，修改换行符CRLF 改为 LF即可
unix shell 与if相关参数
cuilan3310的博客
05-21 1468
[ -a FILE ] 如果 FILE 存在则为真。 [ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。 [ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。 [ -d FILE...
在shell中使用hiveSQL的注意事项
hitchenghengchao的博客
01-03 2234
概述hive是数据分析人员常用的工具之一。实际工作中，使用hive基本都是在linux shell环境下。运行hiveSQL的方式有以下几种。1.hive 交互式命令行即在shell环境...
shell脚本中写hive的sql语句
健康平安的活着的专栏
07-09 5582
2.3shell脚本中写hive语句 2.3.1test.sh脚本内容 #!/bin/bash analysis_date=$1 #开始执行方法 #/opt/hive-2.3.5/bin/hive -e "select count(1) from hv_orders_user_buckets" echo"输入的参数变量为:$analysis_date" hive -e "u...
shell脚本中报binary operator expected错
qq_43473129的博客
01-20 2万+
shell脚本中遇到的坑 如下代码，报错【binary operator expected】 这个错说什么期望二进制运算符，没搞懂 # get date if [ -z $1 ]; then echo 'no date set, exit now' exit 1 fi d1=$(date -d "$1" +%Y-%m-%d" "%H:%M:%S) if [ -z $2 ]; the...
shell命令执行hive脚本（hive交互，hive的shell编程）
weixin_30587927的博客
01-19 3329
Hive执行方式 Hive的hql命令执行方式有三种： 1、CLI 方式直接执行 2、作为字符串通过shell调用hive –e执行（-S开启静默，去掉”OK”，”Time taken”） 3、作为独立文件，通过shell调用 hive –f或hive –i执行执行 方式1 键入“hive”，启动hive的cli交互模式。Set可以查看所有环境设置参数，并可以...
Linux集群中解决Hive交互shell中 show databases没有反应(包含Hive按照步骤)
qq_45739020的博客
11-19 2698
1.第一种解决方案 在Hive服务中输入命令行代码一定要规范，输入完命令行代码后要以 ； 结尾 错误示范效果（没有以 ; 结尾的）示例： Hive 服务都是不识别的 正确示范效果 如果不是如上所述那就只能逐一排查 第二种解决方案（包含安装Hive） 第一步：查看系统自带的mysql的rpm包 （确认是否少包） rpm -qa | grep mysql 第二步：安装mysql的rpm包...
Hivesql怎么写入shell脚本
05-26
在shell脚本中，可以通过以下方式将Hive SQL语句写入： 1. 在shell脚本中使用Hive命令直接执行SQL语句： ```shell #!/bin/bash hive -e "INSERT INTO TABLE my_table VALUES (1, 'hello'), (2, 'world');" ``` 2....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值