1.调度工具
主要使用的有 airflow、azkaban、rundeck以及Linux自带的crontab
执行一个脚本步骤
1.创建一个文本 vi test,sh
文件名最好加上后缀 .sh ;文件里第一行加上前缀 #!/bin/bash(若没有加,需要用sh命令去执行)
2.修改文本权限 chmod
3.执行脚本 ①./test.sh ②sh test.sh
4.调度crontab -e
[root@ruozedata001 ~]# crontab -l
* * * * * /root/test.sh >> /root/test.log
表示每隔一分钟记录一次,五个星号间隔表示分、小时、日、月、周 ;*/6表示每6分钟记录一次
例如:Linux的crontab最少单位为一分钟,若是要求每10秒记录一次
#!/bin/bash
for((i=1;i<=6;i++));
do
date
sleep 10s
done
exit
2.后台执行
./test.sh &
nohup ./test.sh & 用于手动启动脚本 看日志 开发维护 测试
nohup ./test.sh > /root/test.log 2>&1 & 生产上
3.软连接
ln -s 原path 目标path
[root@ruozedata001 ~]# ln -s mysql5.6 mysql
total 2
drwxr-xr-x 2 root root 6 Nov 20 21:33 mysql >> mysql5.6
drwxr-xr-x 2 root root 6 Nov 20 21:33 mysql5.6
5.6
常见问题:
CDH升级 原文件不见了 光标跳动:
[root@ruozedata001 ~]# ll
total 2
drwxr-xr-x 2 root root 6 Nov 20 21:33 mysql >>
drwxr-xr-x 2 root root 6 Nov 20 21:33 mysql5.6
解决方案:①.找原文件文件夹;
②. 删除快捷键文件文件夹–》重新做新的软连接 高版本
注:带版本号的绝对不能部署到环境变量或脚本或程序代码
最好建立软连接使用绝对路径
安装至系统盘时,如果备份过多,可以mv到数据盘中,然后建立软连接,记得使用绝对路径
mkdir /data01/log/
mv /var/log/hbase /data01/log/
ln -s /data01/log/hbase /var/log/hbase
记得权限问题
集群电脑可以看其他电脑的权限