Crontab执行shell脚本sqoop问题

最新推荐文章于 2023-06-01 08:49:16 发布
最新推荐文章于 2023-06-01 08:49:16 发布
阅读量704 收藏
点赞数
分类专栏： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013957201/article/details/89448479
版权

Crontab定时器执行shell脚本结束后发现sqoop语句执行失败，手动执行shell脚本sqoop语句执行正常。

于是 tail -f /var/spool/mail/root 查看sqoop日志发现错误。

INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce
ERROR orm.CompilationManager: It seems as though you are running sqoop with a JRE.
ERROR orm.CompilationManager: Sqoop requires a JDK that can compile Java code.
ERROR orm.CompilationManager: Please install a JDK and set $JAVA_HOME to use it.
ERROR tool.ExportTool: Encountered IOException running export job: java.io.IOException: Could not start Java compiler.

原因是sqoop在shell表达式里执行时没有找到java环境变量，在shell脚本开头定义

export JAVA_HOME=jdk路径即可

 

有思想的lazy码农
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
as 修改jre路径_看起来好像您正在运行带有JRE的sqoop - 但将JAVA_HOME设置为JDK
weixin_42336364的博客
12-23 366
I tried to set up sqoop (sqoop-1.4.3.bin__hadoop-1.0.0) on Ubuntu. I can run the basic sqoop help etc without problems. When I run the following I get an error:sqoop import --connect jdbc:mysql://loca...
sqoop 1.4 java_似乎您正在使用JRE运行sqoop-但JAVA_HOME设置为JDK
weixin_42298093的博客
02-16 525
我试图在Ubuntu上设置sqoop(sqoop-1.4.3.bin__hadoop-1.0.0)。我可以运行基本的sqoop帮助等，而不会出现问题。当我运行以下命令时，我得到一个错误：sqoop import --connect jdbc:mysql://localhost/test --table sales -m 113/04/19 10:35:24 INFO orm.Compilation...
hadoop中sqoop导入到hdfs报错
最新发布
m0_64332220的博客
06-01 314
sqoop中mysql导入hdfs时jdk报错
解决Centos7下crontab+shell脚本定期自动删除文件问题
01-10
利用shell脚本来定期删除文件夹内的任务 1、创建shell文件 [root@zabbix script]# vim backup_sql_clean.sh #!/bin/sh find /data1/backup/KDKDA\$AGKDPAYKT/XNAKSD/FXUIJ -mtime +10 -name *.bak -exec rm -rf {} ...
Linux crontab定时执行Shell脚本需要执行特定的命令时解决思路
01-20
1、crontab执行配置 * * * * * cd /项目目录 && ./auto_start.sh >> /log/auto.out 2、Shell脚本 #!/bin/bash #导入环境变量 export LANG=en_US.UTF-8 export JAVA_HOME=/usr/local/java export C
Linux Crontab Shell脚本实现秒级定时任务的方法
01-10
一、编写Shell脚本crontab.sh #!/bin/bash step=1 #间隔的秒数，不能大于60 for (( i = 0; i < 60; i=(i+step) )); do $(php '/home/www/php/crontab/crontab.php') sleep $step done exit 0 二、crontab -e ...
Shell脚本中实现切换用户并执行命令操作
09-15
此外，如果你的脚本是在`crontab`定时任务中运行，那么需要特别注意权限问题，因为`crontab`可能以不同的用户身份运行。 总结来说，通过`su`命令和Here Document或`-c`选项，可以在Shell脚本中方便地切换用户并执行...
Sqoop学习汇总及错误整理
wensuting001的博客
03-31 890
环境准备 Hadoop环境 2.7.2 关系型数据库 mysql 5.6 sqoop环境 1.4.6 Sqoop是什么 它是开源的数据传输工具 它是Hadoop生态圈中一个第三方模块 它是Apache 的项目（不断优化、用户多、遇到问题可以很快解决） 为什么要使用sqoop? 快速实现Hadoop(HDFS/hive/hbase)与传统数据库之间的数据传递 sqoop提供许多数据传输方式 Sqoop支持多种数据库（mysql,oracle） sqoop提供功能： 数据导入（将关系型数据库中的数
sqoop基本概念
10-22
1.sqoop基本概念 2.配置sqoop环境 3.sqoop的典型应用 4.sqoop的原理 5、sqoop环境的配置步骤 6、理解sqoop的原理 7、熟练使用sqoop导入导出数据
It seems as though you are running sqoop with a JRE.
zzw_17600691357的博客
05-06 1558
在执行 sqoop import --connect jdbc:mysql://node1:3306/result_db --username root --password 123456 --columns browser_name,browser_version --table dimension_browser --delete-target-dir -m 1 --target-dir...
sqoop+crontab（mysql表定期导入到hive）
蚂蚁窝
06-29 481
执行命令 sqoop job --create todbincrementjob -- import \ --connect jdbc:mysql://xx.xx.xx.xx:3306/iepdb \ --username xxxxx_iep \ --password-file /user/train/password.file \ --target-dir /tmp/mysqldb/hs_xx...
SQOOP设置定时任务
weixin_61569205的博客
03-07 394
SQOOP设置定时任务
大数据~直接通过sqoop命令在窗口中执行，完全没有问题，可以运行，但是将其放在shell脚本后，执行报错
feizuiku0116的博客
11-23 742
可能的原因 由于这个shell文件是windows中创建的，windows中对空格的处理和linux中对空格处理方案不一致，然后再windows编写shell在linux运行，识别为shell语法有问题 解决方法 安装一个工具在node1: yum install -y dos2unix 作用 基于这个包完后才能够对shell中doc编写格式进行处理，将其转换为linux的unix格式方案 后续执行shell脚本之前 先执行 dos2unix shell脚本 然后执行 sh she
Sqoop 使用shell命令的各种参数的配置及使用方法
微信搜：import_bigdata，大数据领域硬核原创作者
07-29 775
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源本文作者：Sheep Sun本文链接：https://www.cnblogs.com/yangxusun9/p/12558683...
大数据之Sqoop(三):java.io.IOException Could not start Java compiler
maoyuanming0806的博客
01-19 1513
这两天做个项目使用到sqoop，这东西以前用过，现在有点忘了，出了点差错，记录下来 文章目录环境报错问题原因解决 环境 hadoop 2.4.1 jdk8 sqoop 1.4.6 centos7 mysql 5.7.x 报错 [root@mym sqoop]# bin/sqoop import --connect jdbc:mysql://192.168.31.201:3306/compa...
sqoop: mysql导入数据到hdfs, hive, hbase
yao09605的博客
01-19 366
mysql 导入 hdfs #启动hadoop $ start-dfs.sh $ start-yarn.sh $ jps 2706 NameNode 3334 ResourceManager 3495 NodeManager 3112 SecondaryNameNode 3848 Jps 2873 DataNode # sqoop energydata是数据库名，average_price...
crontab执行shell脚本
04-28
可以使用crontab命令来定时执行shell脚本。步骤如下： 1. 创建一个shell脚本，比如example.sh，在脚本中编写需要执行的命令和操作。 2. 执行命令crontab -e来编辑当前用户的定时任务。 3. 在编辑器中添加一行类似于...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值