自动化生成oozie workflow 可定义是否使用fork

已于 2022-04-02 15:57:54 修改
阅读量3.2k 收藏
点赞数
分类专栏： oozie 文章标签： shell 大数据 自动化 运维开发
于 2022-04-02 15:57:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_25207217/article/details/123921601
版权

前言

大数据开发中，oozie和azkaban算是应用比较广泛的调度框架了。

oozie功能很强大，但是实际开发中我们应用的其实只有shell这一种action类型。

痛点在于编写workflow文件的繁复，闲来开发了一个自动生成action节点的脚本，可以减少部分的开发工作，如果有有所bug还望见谅 ~

一、需加入调度的脚本路径

$ pwd
/home/dmp_operator1/OozieApps/oozie_union

# 本地目录树
$ tree test_ads/
test_ads/
├── 1
│   ├── 1_1.sh
│   ├── 1_2.sh
│   └── 1_3.sh
├── 2
│   ├── 2_1.sh
│   ├── 2_2.sh
│   └── 2_3.sh
└── 3
    ├── 3_1.sh
    ├── 3_2.sh
    └── 3_3.sh

# 使用readlink 提取出脚本文件的绝对路径
$ ls -a test_ads/*/*.sh | xargs readlink -f
/home/dmp_operator1/OozieApps/oozie_union/test_ads/1/1_1.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/1/1_2.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/1/1_3.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_1.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_2.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_3.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_1.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_2.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_3.sh

# OozieApps为所有oozie项目的主目录
# oozie_union为此次测试的项目目录

二、使用步骤

1. 编写脚本gen_action.sh

#!/bin/bash

if [ $# -lt 1 ] ; then
    echo "传参格式:
fork - 并行类型   : fork_name join_name sh1 sh2 sh3 ...
非fork - 串行类型 : sh1 sh2 sh3 ..."
    exit 0
fi

# 判断是否为fork类型, 并获取action脚本起始位置
sh_start=1
if [[ $1 != *.sh ]] && [[ $2 != *.sh ]] ; then
    sh_start=3
    fork_name=$1
    join_name=$2
fi

# 单ation逻辑
gen_workflow(){
    shell_path=`readlink -f $1 | cut -d/ -f 6-`
    action_name=`basename $1 | cut -d\. -f 1`
    action_next_name=`basename $2 | cut -d\. -f 1`
    if [ $sh_start -eq 3 ] ; then
        action_next_name=$join_name
    fi

    echo "
    <action name=\""$action_name"\">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>\${jobTracker}</job-tracker>
            <name-node>\${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>\${queueName}</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.memory.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.java.opts</name>
                    <value>-Xmx4096m</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name>
                    <value>-Xmx4096m</value>
                </property>
            </configuration>
            <exec>"$shell_path"</exec>
            <argument>\${(wf:actionData('shell_date')['etl_date'])}</argument>
            <file>"$shell_path"</file>
            <capture-output/>
        </shell>
        <ok to=\""$action_next_name"\"/>
        <error to=\"fail\"/>
    </action>
"
}

# 拼接fork部分 【超过9个参数时 取值必须使用{}, 即${10}】
gen_fork(){
    echo "<fork name=\""$fork_name"\">"
    # shift ; shift # 移除[覆盖]开头的fork和join
    for ((i=$sh_start;i<=$#;i++))
    do
        echo "    <path start=$(basename $( eval echo $(echo \${$i}) ) | cut -d\. -f 1)/>"
    done
    echo '</fork>'
}
gen_join(){
    # 拼接join部分
    echo "<join name=\""$join_name"\" to=\"xxx_end\"/>"
}

if [ $sh_start -eq 3 ] ; then
    gen_fork $@
fi

# 遍历生成action
for ((i=$sh_start;i<=$#;i++))
do
    action1=$( eval echo $(echo \${$i}) )
    # 类型为非fork时 最后一个action跳转到end
    if [ $i -eq $# ] ; then
        action2=end
    else
        action2=$( eval echo $(echo \${$[i+1]}) )
    fi
    echo $action1 $action2
    gen_workflow $action1 $action2
done

if [ $sh_start -eq 3 ] ; then
    gen_join
fi

2. 测试

# 先注释掉倒数第6行的 gen_workflow $action1 $action2，暂时不生成action节点，查看运行逻辑

# 1. 参数格式
$ sh gen_action.sh
传参格式:
fork - 并行类型   : fork_name join_name sh1 sh2 sh3 ...
非fork - 串行类型 : sh1 sh2 sh3 ...

# 2. 测试fork类型
$ sh gen_action.sh my_fork my_join `ls -a test_ads/*/*.sh | xargs readlink -f`
<fork name="my_fork">
    <path start=1_1/>
    <path start=1_2/>
    <path start=1_3/>
    <path start=2_1/>
    <path start=2_2/>
    <path start=2_3/>
    <path start=3_1/>
    <path start=3_2/>
    <path start=3_3/>
</fork>
/home/dmp_operator1/OozieApps/oozie_union/test_ads/1/1_1.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/1/1_2.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/1/1_2.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/1/1_3.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/1/1_3.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_1.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_1.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_2.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_2.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_3.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_3.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_1.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_1.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_2.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_2.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_3.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_3.sh end
<join name="my_join" to="xxx_end"/>

# 3. 测试串行类型
$ sh gen_action.sh  `ls -a test_ads/*/*.sh | xargs readlink -f`
/home/dmp_operator1/OozieApps/oozie_union/test_ads/1/1_1.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/1/1_2.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/1/1_2.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/1/1_3.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/1/1_3.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_1.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_1.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_2.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_2.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_3.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/2/2_3.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_1.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_1.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_2.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_2.sh /home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_3.sh
/home/dmp_operator1/OozieApps/oozie_union/test_ads/3/3_3.sh end

3. 实操

# 取消掉 gen_workflow $action1 $action2 的注释，并注释掉调试打印信息 echo $action1 $action2

# fork并行版测试结果 (为避免篇幅过长，串行版可自行测试)
$ sh gen_action.sh my_fork my_join `ls -a test_ads/*/*.sh | xargs readlink -f`
<fork name="my_fork">
    <path start=1_1/>
    <path start=1_2/>
    <path start=1_3/>
    <path start=2_1/>
    <path start=2_2/>
    <path start=2_3/>
    <path start=3_1/>
    <path start=3_2/>
    <path start=3_3/>
</fork>

    <action name="1_1">
        <shell xmlns=uri:oozie:shell-action:0.2>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.memory.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.java.opts</name>
                    <value>-Xmx4096m</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name>
                    <value>-Xmx4096m</value>
                </property>
            </configuration>
            <exec>test_ads/1/1_1.sh</exec>
            <argument>${(wf:actionData('shell_date')['etl_date'])}</argument>
            <file>test_ads/1/1_1.sh</file>
            <capture-output/>
        </shell>
        <ok to="my_join"/>
        <error to="fail"/>
    </action>


    <action name="1_2">
        <shell xmlns=uri:oozie:shell-action:0.2>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.memory.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.java.opts</name>
                    <value>-Xmx4096m</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name>
                    <value>-Xmx4096m</value>
                </property>
            </configuration>
            <exec>test_ads/1/1_2.sh</exec>
            <argument>${(wf:actionData('shell_date')['etl_date'])}</argument>
            <file>test_ads/1/1_2.sh</file>
            <capture-output/>
        </shell>
        <ok to="my_join"/>
        <error to="fail"/>
    </action>


    <action name="1_3">
        <shell xmlns=uri:oozie:shell-action:0.2>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.memory.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.java.opts</name>
                    <value>-Xmx4096m</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name>
                    <value>-Xmx4096m</value>
                </property>
            </configuration>
            <exec>test_ads/1/1_3.sh</exec>
            <argument>${(wf:actionData('shell_date')['etl_date'])}</argument>
            <file>test_ads/1/1_3.sh</file>
            <capture-output/>
        </shell>
        <ok to="my_join"/>
        <error to="fail"/>
    </action>


    <action name="2_1">
        <shell xmlns=uri:oozie:shell-action:0.2>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.memory.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.java.opts</name>
                    <value>-Xmx4096m</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name>
                    <value>-Xmx4096m</value>
                </property>
            </configuration>
            <exec>test_ads/2/2_1.sh</exec>
            <argument>${(wf:actionData('shell_date')['etl_date'])}</argument>
            <file>test_ads/2/2_1.sh</file>
            <capture-output/>
        </shell>
        <ok to="my_join"/>
        <error to="fail"/>
    </action>


    <action name="2_2">
        <shell xmlns=uri:oozie:shell-action:0.2>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.memory.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.java.opts</name>
                    <value>-Xmx4096m</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name>
                    <value>-Xmx4096m</value>
                </property>
            </configuration>
            <exec>test_ads/2/2_2.sh</exec>
            <argument>${(wf:actionData('shell_date')['etl_date'])}</argument>
            <file>test_ads/2/2_2.sh</file>
            <capture-output/>
        </shell>
        <ok to="my_join"/>
        <error to="fail"/>
    </action>


    <action name="2_3">
        <shell xmlns=uri:oozie:shell-action:0.2>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.memory.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.java.opts</name>
                    <value>-Xmx4096m</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name>
                    <value>-Xmx4096m</value>
                </property>
            </configuration>
            <exec>test_ads/2/2_3.sh</exec>
            <argument>${(wf:actionData('shell_date')['etl_date'])}</argument>
            <file>test_ads/2/2_3.sh</file>
            <capture-output/>
        </shell>
        <ok to="my_join"/>
        <error to="fail"/>
    </action>


    <action name="3_1">
        <shell xmlns=uri:oozie:shell-action:0.2>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.memory.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.java.opts</name>
                    <value>-Xmx4096m</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name>
                    <value>-Xmx4096m</value>
                </property>
            </configuration>
            <exec>test_ads/3/3_1.sh</exec>
            <argument>${(wf:actionData('shell_date')['etl_date'])}</argument>
            <file>test_ads/3/3_1.sh</file>
            <capture-output/>
        </shell>
        <ok to="my_join"/>
        <error to="fail"/>
    </action>


    <action name="3_2">
        <shell xmlns=uri:oozie:shell-action:0.2>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.memory.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.java.opts</name>
                    <value>-Xmx4096m</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name>
                    <value>-Xmx4096m</value>
                </property>
            </configuration>
            <exec>test_ads/3/3_2.sh</exec>
            <argument>${(wf:actionData('shell_date')['etl_date'])}</argument>
            <file>test_ads/3/3_2.sh</file>
            <capture-output/>
        </shell>
        <ok to="my_join"/>
        <error to="fail"/>
    </action>


    <action name="3_3">
        <shell xmlns=uri:oozie:shell-action:0.2>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.memory.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.mapreduce.map.java.opts</name>
                    <value>-Xmx4096m</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.resource.mb</name>
                    <value>5120</value>
                </property>
                <property>
                    <name>oozie.launcher.yarn.app.mapreduce.am.command-opts</name>
                    <value>-Xmx4096m</value>
                </property>
            </configuration>
            <exec>test_ads/3/3_3.sh</exec>
            <argument>${(wf:actionData('shell_date')['etl_date'])}</argument>
            <file>test_ads/3/3_3.sh</file>
            <capture-output/>
        </shell>
        <ok to="my_join"/>
        <error to="fail"/>
    </action>

<join name="my_join" to="xxx_end"/>

总结

需要注意的点大部分都在备注中提现，请仔细查看哦~

乍一看可能很复杂，但是逐行逐行慢慢看慢慢测试，相信大家一定可以理解并在实际的学习和工作中运用上的 ~

xiaofengclouder
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
oozie workflow
11-12
权威的官方翻译编写整理，少有的比较全的中文资料，可以根据cloudera大数据平台的使用
Oozie fork与subworkflow
a805814077的博客
05-12 898
oozie中fork与subworkflow的使用
Oozie workflow.xml 视图解析
lanxiangru的博客
12-25 3490
workflow.xml用于配置workflow任务动作，当job的脚本较多，解读起来比较困难，并且出现并发的时，解析就更困难了。近期在做hadoop的旧job的优化，涉及比较多Job，其中大多数，都是其他同事开发的，而workflow的解读又工作过程中不得不面对的繁琐工作。于是闲暇之余，写了一个workflow.xml文件解析工具：输入job的名称，能显示该job的流程图。
Oozie的workflow和coordinate的使用（HA）
qq_36864672的博客
11-16 1140
&lt;workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.1"&gt; ... &lt;decision name="[NODE-NAME]"&gt; &lt;switch&gt; &lt;case to="[NODE_NAME]"&g
OozieWorkflow
03-25
Oozie管道可自动将数据下载和提取到配置单元表 动作1-执行脚本bash，该脚本将下载和存储昨天的数据。 安排作业每天运行。 行动2-将数据存储在HDFS的分区目录中 行动3-在HDFS中创建指向上述分区的外部Hive表covid_...
oozie.py:使用DSL而不是处理XML生成Oozie配置
05-13
目标这样做的目的是拥有一个更清洁的，非DSL的xml来为oozie生成协调的工作流。用法现在，您需要进行以下环境变量设置： NAMENODE=hdfs://zombo-production:8032JOBTRACKER=hadoop-rm.zombo.comWEBHDFS_HOST=hadoop-...
Oozie大数据调度系统从入门到精通视频教程
10-21
从零开始讲解大数据调度系统构成，集成大数据计算任务构建大数据工作流，基于Oozie构建实现企业级自动化任务开发 课程亮点 1，知识体系完备，从小白到大神各阶段读者均能学有所获。 2，生动形象，化繁为简，讲解...
Oozie的使用
01-20
文章目录1.Oozie调度shell脚本1.1解压官方案例模板1.2创建工作目录1.3拷贝任务模板到oozie-apps1.4编写脚本p1.sh1.5修改配置文件1.5.1job.properties1.5.2workflow.xml1.6上传任务到hdfs1.7执行任务2.Oozie逻辑调度...
从零开始学习Linux（8）----自定义shell
lys20221113242的博客
05-14 233
shell从用户读入字符串“ls”，shell建立一个新的进程，然后在那个进程中运行ls程序并等待那个进程结束。然后shell读取新的一行输入，建立一个新的进程，在这个进程中运行程序，并等待这个进程结束。5. 父进程等待子进程退出（wait）3. 建立一个子进程（fork）4. 替换子进程（execvp）
从零开始的Linux命令行基础
2301_79507619的博客
05-11 235
如果你是Linux命令行的新手，从零开始学习可以有点挑战，但也非常有趣和有益。几乎所有的Linux命令都有文档页（man pages），你可以通过`man [command]`来访问，例如`man ls`。此外，大多数命令也支持`--help`参数来显示帮助信息，例如`ls --help`。例如，`find /home -name "note.txt"`会在/home目录及其子目录中搜索名为note.txt的文件。通过这些基础知识和资源，你可以开始在Linux环境中使用命令行，并逐步提高你的技能。
秒数转换为时分秒时间格式的函数-六种语言（TypeScript,JavaScript,Java,Python,Shell,PowerShell）
常备不懈
05-14 411
秒数转换为时分秒时间格式的函数-六种语言（TypeScript,JavaScript,Java,Python,Shell,PowerShell）
docker runc升级1.1.12
王羲之的之的博客
05-11 139
所有节点（包括master+node）
shell脚本-重定向与管道符
最新发布
EsDeath_99的博客
05-16 147
因为shell脚本有着批量操作的特殊性，大部分操作处于后台执行，不需要用户进行干预，所以提取、过滤并执行信息十分需要重定向和管道。重定向的意思是不输出到默认设备上，而是输出到你指定的位置（文件、其他输出设备）
windows查找重复的物理地址
pixel123的博客
05-13 233
查找同一局域网下重复的mac
第二章 Shell编程之条件语句
w1251427056的博客
05-13 155
做包含效果 [ [ ] ]“-a” 表示“且” ， “-o”表示“或”（两个里面有一个成立即可通过）先查看磁盘空间，创建shell脚本，编辑要用的命令内容。“ || ” 或且的意思。
鸿蒙内核源码分析(Shell解析篇) | 应用窥视内核的窗口
maniuT的博客
05-11 750
系列篇从内核视角用一句话概括shell。其本质是独立进程，因而划到进程管理模块。每次创建shell进程都会再创建两个任务。VT\t\b\n\r0x410x44编辑部分由客户端任务完成，后两个部分由服务端任务完成，命令全局注册由内核完成。
【Shell】Shell函数与数组
云计算稿手的博客
05-13 273
shell中函数与数组的简易介绍。
Python管理PVE（Proxmox VE）云平台--节点资源统计
Mr.Wang的博客
05-10 355
利用python的paramiko模块对pve平台节点已分配资源进行统计、管理。
python使用oozie协调dask，不使用hdfs
06-13
4. 编写Oozie工作流：使用Oozie的工作流定义语言（WDL）编写一个XML文件来定义工作流。在XML文件中，需要定义一个Shell action来运行Dask任务。Shell action中的命令行需要包含启动Dask集群和运行Dask任务的命令。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值