EMR6.2 crontab设定的hive任务报错

最新推荐文章于 2023-11-15 10:22:00 发布
最新推荐文章于 2023-11-15 10:22:00 发布
阅读量274 收藏 1
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32715175/article/details/112786896
版权 
crontab 定时执行 sh文件，而 sh文件中 为hive -f filename.sql

执行时 得到报错信息：
ERROR: JAVA_HOME is not set and could not be found.
Unable to determine Hadoop version information.
'hadoop version' returned:
ERROR: JAVA_HOME is not set and could not be found.

 

解决：在 /etc/environment 文件中添加 export JAVA_HOME=/etc/alternatives/jre

一只_小菜鸟
关注
专栏目录
Hive/Spark/Yarn: User Not Found 错误和 Kerberos / AD / OpenLDAP 之间的关系与解释
Laurence的技术博客
07-31 1462
有时候，当你向Spark或Hive提交作业时，可能会遇到User not found错误,类似的问题大多发生在启动了Kerberos的Hadoop集群上，或者集群集成了Windows AD或OpenLDAP后。本文，我们把这个问题梳理清楚并给出解决方法。
在Hive/Spark上执行TPC-DS基准测试 (PARQUET格式）
Laurence的技术博客
08-16 746
在上一篇文章：《在Hive/Spark上运行执行TPC-DS基准测试 (ORC和TEXT格式）》中，我们介绍了如何使用 hive-testbench 在Hive/Spark上执行TPC-DS基准测试，同时也指出了该项目不支持parquet格式。 如果我们想要生成parquet格式的测试数据，就需要使用其他工具了。本文选择使用另外一个开源项目，它和 hive-testbench 项目非常接近，操作方法也很类似，如果你熟悉
Linux操作系统中，crontab表达式调用hive报错hive: command not found
wufabao的博客
03-22 4666
报错内容 在Linux操作系统中，手动执行sh脚本没有任何问题，但是把sh脚本放到定时任务中，crontab定时任务调用sh脚本，sh脚本中有hive语句，在执行定时任务的时候，报错 /home/hive/test/createtable.sh: line 15: hive: command not found 原因 在crontab中执行sh脚本，无法加载系统环境变量，找不到hive路径，所以报错hive: command not found 解决方案 在sh脚本首行添加source /etc/prof
crontab任务以user用户执行hive -f命令不生效解决记录
最新发布
唯有热爱 可抵万难
11-15 130
现象：创建了一个shell脚本任务，使用crontab进行任务调度，其中hive执行为： hive -f /opt/test.sql > /opt/test.log 2>&1 任务调度起来后一直报错提示：/usr/bin/hive:行3: /parcels/sbin/configure.sh: 没有那个文件或目录 解决： 1.使用hive绝对路径：首先保证user用户有启...
运行crontab时出现hive:command not found及找不到hadoop_home问题处理
BabyFish13
10-25 4778
 如果确认已经在脚本中用了绝对路径，这就可能是crontab的环境变量和自己运行时的环境变量不同导致。所以， 在shell脚本中加入 1)source /etc/profile 2)然后用locate /bin/hive找出对应一个hive的位置，当然由于向下兼容，当然找的是最新版本的hive的位置，将原本的hive命令改成绝对路径 简而言之，就是所有能用到绝对路径的地方都使用绝对路
mysql crontab,MySQL脚本直接sh能够成功,Crontab定时任务却报错
weixin_35648264的博客
03-17 237
事发原因:我写了一个定时脚本,脚本里面有涉及到if判断,然后我在自己的服务器上面不论是crontab -e写定时脚本跑任务(在定时任务里面sh a.sh),还是自己直接sh a.sh,都是非常正常的,但是放到测试服务器上面,直接sh a.sh日志能够正常打印到log里面,但是通过crontab -e定时任务里面的脚本,日志打印的是没有具体的数值,这个就很奇怪,定时脚本里面也是sh 这个a.sh,为...
Linux Hive 脚本Crontab定时部署和Crontab无法执行且无输出日志修正
深挖技术点滴
04-12 1847
目前用Hive需要跑一批定时数据抽取任务，所以想到了Crontab 定时模式，以下是几天来踩的坑； 希望对第一次用Crontab的新人一点帮助。 1、写好sh脚本 然后利用Crontab -e 进行部署，00 11 * * * /home/dir/baidu_update_data.sh > /file.log 2>&1类似于之中格式， ！注意！：00 11 * * ...
hive数据写入ES报错
曹健的博客
07-02 2789
使用插件，将hive中的数据存入ES，在向映射表中更新数据的时候报错： FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Jobs Launched: Stage-Stage-3: Map: 1 Reduce: 1 Cumulative CPU: 4...
【阿里云EMR实战篇】以EMR测试集群版本为例，详解 Flink SQL Client 集成 Hive 使用步骤
阿里云云栖号
05-21 1250
简介：以测试集群版本为例（EMR-4.4.1）—— Flink SQL Client 集成 Hive 使用文档 作者：林志成，阿里云EMR产品团队技术支持，拥有多年开源大数据经验 1、以测试集群版本为例（EMR-4.4.1） 2、执行命令如下 cp /opt/apps/ecm/service/flink/1.10-vvr-1.0.2-hadoop3.1/package/flink-1.10-vvr-1.0.2-hadoop3.1/conf/sql-client-defaults.yaml /e.
spark读取a账户的oss 写入b账户的emr集群的hive(oss-hdfs)
03-31
3. 在emr集群中创建一个hive表，表的存储位置为hdfs。例如，可以使用以下命令创建一个名为test的表： ``` CREATE EXTERNAL TABLE test ( col1 INT, col2 STRING ) STORED AS PARQUET LOCATION '/user/hive/...
任务调度使用的是crontab的任务调度
05-29
目前hadoop hive 及spark脚本需要用定时脚本，任务调度使用的是crontab的任务调度
crontab指定hive每天增加分区
微电子学与固体电子学-俞驰
04-09 269
[root@ts1003 etc]# cat /etc/crontab SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root # For details see man 4 crontabs # Example of job definition: # .---------------- minute (0 - 59) # | .------------- hour (0 - 23) # | | .---------- day...
定时任务——crontab
shell_1983的博客
01-04 200
对于spark任务来说，我们的任务分为实时任务、批处理任务两种。对于实时处理任务，我只需要调整好资源、批处理时间，启动后就会一直执行，就不用开发者操什么心了；但是对于spark批处理任务来说，任务执行的时间大部分在凌晨左右，如果每次执行任务都需要开发者手动启动，是很令人烦恼的。        针对批处理任务这种情况，就需要一个定时执行工具，来帮助我们按照设定时间自动执行任务，这个工具就是cron
使用crontab定时启动nutch遇到的问题
WitsMakeMen的专栏
12-05 1535
linux下使用crontab定时启动nutch时，发现不能正常启动，将错误输出到日志log中报“Error: JAVA_HOME is not set.” 说明java路径没有设置好，但linux系统下已经在profile文件中配置了JAVA_HOME。 后来，写了一个runcrawler.sh文件，文件内容为 #!/bin/bash cd /home/program/nutch-1.2/
HADOOP启动集群报错JAVA_HOME is not set and could not be found.
Y_Aryan的博客
11-10 2664
当全部确认好java环境变量配置成功，在启动集群时还显示 JAVA_HOME is not set and could not be found.注意：如果普通用户输入命令成功显示jdk版本，root用户输入命令却显示找不到 Java命令。其中一种可能的解决办法是：修改环境变量的配置文件，并在普通用户和Root用户下都输入 Java -version 确认配置成功。的文件或符号链接，但这个文件不可执行或者已损坏，系统将尝试使用它而不会继续搜索。首先确保配置好 JAVA_HOME的环境变量。
crontab脚本因JAVA_HOME未设置导致执行失败分析过程
shitou_12的博客
06-08 562
问题背景 最近在尝试将hadoop中文件信息导入ELK，并分析冷数据；部分效果图如下 但是近期发现crontab脚本同步最新的fsimage时正常，但是无法正常转换成csv格式 初期以为是生成的文件已存在导致，后续将生成文件按时间戳明明后依然无法生成 今天刚好有时间准备分析一下 问题分析过程 整个cronta脚本如下： FsImage=`ssh 172.20.xx.xx "ls -art /disk1/hadoop/dfs/hadoop-nn1/current/fsimage* |grep -v md5|
crontab java,crontab没有运行Java
weixin_42510604的博客
02-12 156
I have a .jar which I can run perfectly via the command line.I need this to be running continuosly every 5 mins, so i did crontab -e where I added this line*/5 * * * * java -jar /var/www/java/executab...
阿里云E-MapReduce开发手册：Spark、Hive与OSS集成
"阿里云EMR开发手册涵盖了E-MapReduce、Spark、Hive以及OSS的使用和开发，适用于对这些技术有一定基础认知的开发者。手册强调了对Java和Scala的熟悉程度，并鼓励开源社区参与贡献。" 阿里云E-MapReduce是基于开源...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值