大数据入门第五天总结

1.调度工具

主要使用的有 airflow、azkaban、rundeck以及Linux自带的crontab

执行一个脚本步骤
1.创建一个文本 vi test,sh
文件名最好加上后缀 .sh ；文件里第一行加上前缀 #!/bin/bash（若没有加，需要用sh命令去执行）
2.修改文本权限 chmod
3.执行脚本 ①./test.sh ②sh test.sh
4.调度crontab -e

[root@ruozedata001 ~]# crontab -l
* * * * * /root/test.sh >> /root/test.log

表示每隔一分钟记录一次，五个星号间隔表示分、小时、日、月、周 ；*/6表示每6分钟记录一次
例如：Linux的crontab最少单位为一分钟，若是要求每10秒记录一次

#!/bin/bash

for((i=1;i<=6;i++));
do

        date
        sleep 10s

done

exit

2.后台执行

./test.sh &
nohup ./test.sh & 用于手动启动脚本 看日志 开发维护 测试
nohup ./test.sh > /root/test.log 2>&1 & 生产上

3.软连接

ln -s 原path 目标path
[root@ruozedata001 ~]# ln -s mysql5.6 mysql
total 2
drwxr-xr-x 2 root root 6 Nov 20 21:33 mysql >> mysql5.6
drwxr-xr-x 2 root root 6 Nov 20 21:33 mysql5.6
5.6
常见问题：
CDH升级 原文件不见了 光标跳动:
[root@ruozedata001 ~]# ll
total 2
drwxr-xr-x 2 root root 6 Nov 20 21:33 mysql >>
drwxr-xr-x 2 root root 6 Nov 20 21:33 mysql5.6
解决方案：①.找原文件文件夹；
②. 删除快捷键文件文件夹–》重新做新的软连接 高版本
注：带版本号的绝对不能部署到环境变量或脚本或程序代码
最好建立软连接使用绝对路径
安装至系统盘时，如果备份过多，可以mv到数据盘中，然后建立软连接，记得使用绝对路径
mkdir /data01/log/
mv /var/log/hbase /data01/log/
ln -s /data01/log/hbase /var/log/hbase
记得权限问题

集群电脑可以看其他电脑的权限