linux crontab 定时任务配置用户环境变量

最新推荐文章于 2024-07-10 15:37:08 发布
最新推荐文章于 2024-07-10 15:37:08 发布
阅读量5k 收藏 3
点赞数
文章标签： crontab 用户环境变量
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkcgx/article/details/45306945
版权

在定时任务crontab 配置调用shell脚本，脚本在客户端测试无误。


脚本1任务：远程在S3下载复制数据到HDFS，调用Spark集群分析分布式文件系统的数据输出到HDFS，调用hive加载分析完成的数据到特定的表。

异常现象：提示缺少hive的执行jar包。


脚本2任务：下载服务器日志数据到固定机器，在本地机器多线程清洗数据，完成之后load到HDFS。

异常现象：spark分析完成加载到分布式文件系统的目录变成了文件夹。


问题原因：由于定时任务调用时没有加载用户的环境变量导致的环境目录异常，从而产生各种异常。

解决方法：30 16 * * *  source ~/.bashrc; /home/hadoop/demo.sh

刀砍磁感线
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Linux配置定时crontab及环境变量
u012240363的博客
03-07 1万+
一、linux配置定时crontab 1、执行方法 　　a、crontab –e : 修改 crontab 文件，如果文件不存在会自动创建。 　　b、10 0 * * * . ./.bash_profile;sh /home/zjtxjb_scp1/etc/shell/x.sh 　　c、crontab -l：显示 crontab 文件，查看定时配置。 2、定时含义（参考附件crontab格式说明）...
linux定时任务生效_linux （ crontab 定时任务命令）
weixin_34177601的博客
01-17 9250
crontab 定时任务命令linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。cat /etc/crontab # 查看配置信息PS：如果命令不生效，使用 which 查看...
linux定时任务设置环境变量,linux配置定时任务的用户环境变量
weixin_39553600的博客
05-04 1253
linux配置定时任务的用户环境变量在Linux系统中，执行定时任务时，默认加载的是用户环境变量 ~/.bashrc ，不会加载系统变量，而要使用系统变量，可以用如下方式：# Example of job definition:# .---------------- minute (0 - 59)# | .------------- hour (0 - 23)# | | .---------...
linux定时任务的设置
aezympxj84131的博客
05-12 63
linux定时任务的设置 为当前用户创建cron服务 1. 键入 crontab -e 编辑crontab服务文件 例如 文件内容如下： */2 * * * * /bin/sh /home/admin/jiaoben/buy/d...
Linux定时执行任务crontab教程
最新发布
懒虫的博客
07-10 2350
转发Linux定时执行任务crontab教程Linux crontab是采用定期执行程序的命令，当安装完成操作 系统后，默认便会启动此任务调度命令，crond命令每分钟都会定期检查是否要执行任务的工作，如果要执行的工作便会自动执行该任务。本文主要介绍了定时任务Crontab的使用，需要的可以学习一下。1 教程1.1 安装crontabsyum install contabs #通过yum安装systemctl enable crond #设置开机启动。
【Centos】crontab系统定时配置加载用户环境变量
東₂₀₂₃²⁰²³
07-08 2004
使用linux系统crontab默认是没有加载用户的环境变量的，所以有些命令是用不了的。本文旨在记录添加环境变量的最直接方法
权限提升-Linux定时任务&环境变量&数据库
weixin_44805159的博客
10-13 303
#案例1.Linux提权本地环境变量安全-本地配合SUID进行环境变量提权-本地用户环境手写调用文件-编译-复制文件-增加环境变量-执行触发 gcc demo.c -o shell cp /bin/sh /tmp/ps export PATH=/tmp:$PATH ./shell id demo.c #include<unistd.h> void main() { setuid(0); setgid(0); system("ps"); } 路径问题 利用计划任
crontab 环境变量
onlyellow的博客
10-08 693
crontab里面执行java命令提示： nohup: failed to run command ‘java’: No such file or directory 究其原因是crontab并不继承profile里面的环境变量（java_home等）。 网上也有其他人遇到： http://blog.csdn.net/dancen/article/details/24355287
Linux Crontab 获取环境变量配置解析
09-15
你可以在Crontab的配置文件（通常位于`/etc/crontab`或`~/.crontab`）中直接添加环境变量设置，但这并不推荐，因为这可能会导致其他任务受到影响。 3. 使用绝对路径来避免依赖于环境变量： 如果可能的话，尽量在...
Linux定时任务Crontab详解(推荐)
09-15
- 使用`crontab -e`编辑当前用户的Crontab任务，系统会调用`VISUAL`或`EDITOR`环境变量指定的编辑器。 通过Crontab，你可以灵活地为Linux系统安排各种定时任务，只需确保正确设置时间参数和指定的命令或脚本路径，...
linux cron crontab定时任务--重启\运行脚本等
chenhao0568的专栏
01-08 837
首先判断cron是否已经安装 sudo service crond status running说明OK,下面还显示已经重新加载，用crontab -e添加定时任务后等几秒后会自动加载。 添加定时任务 crontab -e //添加当前账号执行的定时任务 crontab -l //查看root账号执行的定时任务 然后像vi一样编辑。加上日志便于知道有没有执行。 20 13 * * * sh /home/restartdocker.sh >> /home/lo...
centos crontab环境变量问题
weixin_33759269的博客
02-04 391
最近写个shell，监控系统的运行。其中有一条指令如下： IP=`ifconfig em1 | grep "inet addr" | cut -f 2 -d ":" | cut -f 1 -d " "` 此命令手动执行都ok。可以正常显示ip。我放到计划任务里面每次都执行不成功。最后查明是crontab的环境变量和root用户的环境变量不同导致的。 执行en...
linux环境下crontab加载用户变量、python虚拟环境踩坑
bigdata_player
01-07 1687
问题场景        在python虚拟环境中，执行一个语义分析的程序 ./commentAnalysis.sh ，需要每隔10分钟执行一次！结果发现手动执行该脚本，完全没问题，但是呢，一放到crontab定时器就不执行了？这是为什么呢？   问题排查        在linux shell中手动执行 env  , 显示出来一堆已经加载的环境变量； 然后写一个脚本 执行 env命令，放在...
java 客户端定时任务_Java实现定时任务的三种方法
weixin_35559202的博客
02-16 214
在应用里经常都有用到在后台跑定时任务的需求。举个例子，比如需要在服务后台跑一个定时任务来进行垃圾回收(译者注：个人觉得用定时任务来跑垃圾回收不是很好的例子，从译者接触到的项目来看，比较常见的是用定时任务来进行非实时计算，清除临时数据、文件等)。在本文里，我会给大家介绍3种不同的实现方法：普通thread实现TimerTask实现ScheduledExecutorService实现普通thread这...
Crontab加载环境变量
xiaoqidigua_cx的博客
05-12 1084
Crontab加载环境变量
crontab环境变量
cui98的专栏
02-25 672
crontab启动shell脚本的环境变量问题   环境:(产品,平台,机型,软件版本,等)AIX5L 问题描述:crontab中启动的shell脚本不能正常运行，但是使用手动执行没有问题，在$home/.profile中设定了脚本所需要的环境变量。 解答:cron命令的默认shell是/usr/bin/bsh，如果要在cron启动的脚本中使用ksh，就必须在脚本中的第一行添加“
Linux定时器crontab对环境变量的不支持
sunnyJam的专栏
08-12 350
最近配置crontab定时器执行shell脚本，发现对环境变量的不支持 执行命令 crontab -e ，配置每分钟执行一次 */1 * * * *echo "$PATH">/home/app/test.info 执行结果： /usr/bin:/bin 没有引入配置的环境变量参数，crontab没有引入用户环境变量 为了引入环境变量，介绍两种方式： 一、直接在shell脚本中环境变量： PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/.
linux定时任务环境变量,在 Linux 中使用 Cron 执行定时任务
weixin_39617669的博客
05-11 323
工作中我们常常需要在某些时候执行一些任务，Windows 下有定时任务管理， Linux 下则有 Crontab， 接触过 Linux 的童鞋一定不陌生。目录Cron 是 Unix，Solaris， Linux 等系统下的可以自动在后台执行定时任务的工具，比如在某一天 9 点提醒你开会， 某一天 6 点去给女票买礼物等等， 这是由 cron 守护进程定期执行的。 如果启用了 cron(一般默认启用...
Linux Crontab 定时备份MySQL 无法加载环境变量问题记录（三种方法）
咖啡小生
12-14 2004
使用mysqldump在Linux中的crontab中进行定时执行时，出现无法加载mysqldump环境变量的问题，解决方式有以下几种： （1）网上通用方法：写mysqldump的全路径 （2）在crontab中配置环境变量。如/etc/crontab :之后添加mysqldump的软连接地址。 （3）在备份脚本中添加： . /etc/profile . ~/.bash_profile ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值