手动运行脚本执行正常而放入crontab调用hadoop命令没有执行成功

最新推荐文章于 2022-08-09 14:47:50 发布
最新推荐文章于 2022-08-09 14:47:50 发布
阅读量403 收藏
点赞数
文章标签： 大数据 shell python
原文链接：https://my.oschina.net/aibati2008/blog/634936
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

      需要每天定时上传爬取的数据文件到HDFS里，于是写了个脚本用crontab去调用。但是发现在脚本里hadoop的命令无法执行，在终端是没问题的。查看日志发现crontab也运行正常。

     后来终于找到原因，貌似是hadoop home的环境变量没有生效，于是在脚本里加入export hadoop的环境变量，问题解决。



   一个更简单的方法是直接加入source /etc/profile在脚本的最前面.

转载于:https://my.oschina.net/aibati2008/blog/634936

helloxielan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Crontab 下的sh脚本不执行：未调用java环境
傲娇的博客
03-21 2254
crontab 设置定时执行任务不执行： 1：服务crond正常 hadoop@suitang02:~$ service cron status cron start/running, process 984 2：crond服务正常执行 [root@localhost ~]# tail -1 /var/spool/cron/root */1 * * * * echo 123 &g...
在Linux系统下使用crontab定时运行python脚本
zoeleslie的博客
09-04 343
在Linix系统下使用crontab定时运行python脚本在Linix系统下使用crontab定时运行python脚本 在Linix系统下使用crontab定时运行python脚本 通过使用新建shell文件，将python脚本的执行放在shell文件中，定期执行shell文件，这样可以解决执行python时环境配置的问题,为了保险起见，所有的路径都写成绝对路径。 以下为操作步骤： 在py文件...
crontab hadoop spark 不生效
yisun123456的博客
06-29 357
单独执行含有hadoop命令脚本生效，但是放到crontab里执行不行。1、检查crontab是否启动 systemctl status crond 、 systemctl start crond2、如果生效了，很可能是环境问题 需要加上环境 source /etc/profile source ~/.bashrc......
crontab定时hadoop任务没有执行
qq_33290422的博客
06-26 2791
最近公司要从sqlserver数据库数据大约100G导入到hdfs中，由于数据库在同事的服务器中，为了不影响同事工作，计划晚上自动执行。服务器的定时脚本的时候发现了定时脚本并没有被执行，但是定时比如创建文件夹却可以执行，并且执行了下发现脚本的逻辑是没有问题的，而且直接执行是没有问题的，又去/etc/crontab文件里去看了下 原来是crontab中的环境变量不一样，需要在定时脚本前面加上环境
crontab定时任务, 执行shell脚本, 报错: hadoop not found, spark not found
weixin_30827565的博客
05-15 252
权限问题 在shell脚本最前面添加下面内容: #hadoop export PATH=$PATH:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/home/user/torch/install/bin: ...
关于crontab 不能调用Hadoop相关的命令的问题
Samaritan_H的博客
04-02 1789
先说结果：环境变量导致。 处理方式： source /etc/profile source ~/.bash_profile 在脚本的开头引入环境变量。 事件：crontab 调用shell 脚本，脚本中包含，hive -e ,hive -f 等命令，本地执行shell脚本测试无问题，但是crontab 调度任务不执行。...
Hadoop之——crontab 定时运行 hadoop 任务（以Hadoop用户身份运行crontab报错）
冰河的专栏
07-15 1870
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/95964457 问题： 在/etc/crontab 里添加任务，想以hadoop 用户去执行这个脚本。 */5 * * * * hadoop /bin/sh /home/hadoop/runhadoop.sh 一直报错，如下： crontab Error creati...
shell调度-crontab定时任务示例
ISIS7Protessional的博客
01-16 404
shell调度-定时任务示例： 1）crontab定时任务，每天执行 2）日期参数处理：传入日期参数时变量等于传入日期，未传入日期参数时变量等于昨日 3）依赖检测：执行sql语句前对上游表进行检测，若成功标志存在则执行，否则等待下次检测 终端执行：sh home_recommend.sh [date可选] 终端中后台执行：nohup sh home_recommend.sh [d...
大数据之Hadoop（完全分布式运行模式）
xiekengli8279的博客
01-04 190
4.3 完全分布式运行模式 （1）准备3台客户机（关闭防火墙、静态ip、主机名称） （2）安装JDK （3）配置环境变量 （4）安装Hadoop （5）配置环境变量 （6）配置集群 （7）单点启动 （8）配置ssh （9）群起并测试集群 4.3.1 虚拟机准备 ...
Hadoop运行模式：完全分布式运行模式（虚拟机准备、 编写集群分发脚本xsync、SSH无密登录配置、集群配置、群起集群、 配置历史服务器、配置日志的聚集、集群启动/停止方式总结、编写Hadoop）
weixin_44216665的博客
08-09 692
虚拟机准备、 编写集群分发脚本xsync、SSH无密登录配置、集群配置、群起集群、 配置历史服务器、配置日志的聚集、集群启动/停止方式总结、编写Hadoop集群常用脚本、 常用端口号、集群时间同步...
Linux Crontab执行hadoop命令脚本失败
lyp5257918的博客
07-01 2417
crontab调度hadoop命令脚本，需要添加source /etc/profile 或者 source ~/.base_profile
crontab执行任务时命令无法查到到命令
wkNote
10-24 4955
crontab在运行时，环境和用户环境并不相同，可能会出现有些命令无法查找到的情况，这时候在脚本中将命令的路径引入即可，例如加入以下语句： PATH=/etc:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin ...
crontab hadoop任务没有执行
qq_33290422的博客
06-26 1276
最近一段时间 公司要把sqlserver里的100G数据导入到HDFS中，但是数据库在同事的服务器中，为了不影响同事工作，决定定时在晚上自动执行，但是crontab并没有自动执行，并且执行了下发现脚本的逻辑是没有问题的，而且直接执行是没有问题的，后来又去/etc/crontab文件里去看了下，发现crontab中的环境变量不一样解决办法如下： 1：在本地输入 echo $PATH 2:将输
在shell脚本中如何调用hadoop 命令
龍 博客
11-01 7040
我们在shell脚本中可能会用到hadoop或者其他命令，而这些命令可能是一个整体，如果我们只是简单的写入到shell脚本中，可能会被分解成其他的各个子字段，即有可能会分成两部分去执行，这样就会导致命令执行失败。 hadoop fs -get /XXXXXX 上面这个就会分成hadoop fs 和get两部分这样就执行不成功了 所以在shell脚本中应该用反引号“括起来，注意这个事反引号不
shell脚本手动执行成功，定时任务调用失败的解决方法。
热门推荐
liuhenghui5201的专栏
01-12 1万+
场景：写的shell脚本，在secureCRT 命令窗口执行没有问题，当添加定时任务执行shell脚本时出现如下中的某些问题。 1，出现找不着 命令如：java、db2等命令。 2，编码格式不对等，如java读取中文文本 读取后为问号？ 。 原因：用户的环境变量在shell中没有起作用。 解决办法：在shell需重新加上环境变量如： export JAVA_HOME=/usr/java/
Hadoop入门之自动化定时调度之Azkaban部署及使用
筑梦者
05-31 8481
azkaban的部署使用及如何结合项目的使用思考 1  部署azkaban 1.1 准备工作,下载相关安装包,这里我使用的是2.5版本的 官方:http://azkaban.github.io/downloads.html 还需要一个jdbc的连接jar包: 链接：http://pan.baidu.com/s/1dFe8avJ 密码：0pjh 我
hadoop群集出现crontab job不执行的情况
TURING.DT
04-13 680
今天hadoop群集出现crontab job不执行的情况，手动运行job，报错如下： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RetriableException): org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delet
crontab定时执行python脚本失败，但是手动执行成功
最新发布
06-01
可能是因为在 crontab 中执行的环境变量与手动执行时的环境变量不同导致的。您可以在 crontab 中设置 PATH 环境变量，或者在执行 python 脚本时使用绝对路径，以确保 crontab 能够找到相应的文件。 另外，您可以在 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值