DataWorks使用Shell节点调用自定义资源组执行脚本

最新推荐文章于 2022-10-12 16:50:41 发布
最新推荐文章于 2022-10-12 16:50:41 发布
阅读量1.6k 收藏 2
点赞数 1
文章标签： 阿里云
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43970890/article/details/108341344
版权
本文介绍了如何在DataWorks企业版中使用Shell节点调度自定义资源组执行Shell脚本，包括设置资源组、配置ECS权限、新建Shell节点、设置手动业务流程，以及检查命令执行情况。此功能方便用户结合DataWorks调度ECS上的程序。
摘要由CSDN通过智能技术生成

背景描述：
本文主要介绍DataWorks使用Shell节点调度自定义资源组执行Shell脚本，且使用该功能需要用户的DataWorks版本为企业版。文中主要内容包括配置自定义资源组，以及设置ECS的amdin用户权限，脚本模式使用MaxCompute客户端，并配置手动业务流程执行对应的Shell脚本在开发环境运行，检测其脚本执行的命令是否正确。该功能对于用户调度用户ECS上的的程序提供了便利，使其他的任务能和DataWorks的调度结合起来。

一、设置自定义资源组并配置权限ECS权限

1.1根据文档添加对应空间下的自定义资源组
https://help.aliyun.com/document_detail/169950.html
1.2查看添加的自定义资源组
image.png

1.3登陆添加为自定义资源组的ECS，建立对应目录，并给admin用户设置权限
image.png

目录下的odps_haudong为MaxCompute的客户端
image.png

upfile.txt内容为

最低0.47元/天 解锁文章
阿里云技术
关注
防止shell脚本重复执行的代码
09-15
防止shell脚本重复执行是确保系统资源有效管理和避免并发问题的重要措施。在Linux或Unix环境中，通过锁机制可以实现这一目标。锁机制允许脚本实例在执行关键操作时互斥，确保同一时间只有一个实例在执行，其他实例则...
大数据阿里云工具之DataWorks（一）
热门推荐
a5305601的博客
02-24 1万+
本文主要介绍dataworks的数据集成、数据质量、数据地图与数据开发 一、简介 DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS平台产品，提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。DataWorks支持多种计算和存储引擎服务，包括离线计算MaxCompute、开源大数据引擎E-Map......
使用shell脚本上传文件至阿里云OSS（无需装任何sdk）
wyh0318的专栏
10-12 1729
使用shell脚本上传文件至阿里云OSS（无需装任何sdk）
[Shell 脚本] Shell脚本操作OSS服务：PUT、GET（纯shell脚本无sdk） ...
测试0901-1
04-18 1142
前提： 一般情况下对OSS操作都会通过SDK，但是很多情况下对OSS进行简单的上传下载的操作，那么SDK就显得有些臃肿，先要下载sdk包，然后再写些简单的操作脚本，而通过shell脚本就会简单很多。 而且很多场景：线上网站、数据库等，生产出来的网站数据、数据库数据、日志数据都需要来备份，如果备份再本地磁盘，那么没过多久磁盘空间就占用光了，如果是NAS来备...
DataWorks如何将shell任务运行在自定义资源组上
weixin_34198797的博客
09-28 405
在进行数据开发中，有很多时候需要使用shell 来调用其他语言。但是在DataWorks上，底层的机器运行任务时都会有沙箱限制，沙箱会限制网络访问和禁止本地IO读写等等，会带来诸多不便。那么我们如何将这部分任务运行在非沙箱环境（自己的机器上）呢。 我们可以将任务的运行环境预先在某台机器上准备好，然后将任务指定在这台机器上运行。 注：目前只有华东2支持将s...
Shell 调用系统时间变量
luobotoutou123的博客
09-25 557
获取今天时期：`date +%Y%m%d` 或 `date +%F` 或 $(date +%y%m%d)  获取昨天时期：`date -d yesterday +%Y%m%d`  获取前天日期：`date -d -2day +%Y%m%d`  依次类推比如获取10天前的日期：`date -d -10day +%Y%m%d`  或n天前的 `date -d "n days ago" +%y%
node-http-shell:执行shell脚本并在http get调用中获取结果
06-09
节点-http-shell 在浏览器中获取 shell 脚本输出$ npm install$ npm start用法 1 非常容易修改和实施。 查找配置文件app/http.json 。 type -> 选项exec & spawn cmd -> 运行指定的命令url -> 发布输出的 url 你很...
shell脚本执行jps时：-bash: jps: command not found
01-20
在IT行业中，尤其是在管理分布式系统如Hadoop集群时，编写和使用shell脚本是一种常见的任务。这个场景中遇到的问题是，当尝试通过shell脚本来远程执行`jps`（Java Process Status）命令时，系统返回了`-bash: jps: ...
Shell脚本实现查杀子进程、僵尸进程
09-15
Shell脚本是Linux系统中常用的一种自动化工具，用于执行一系列命令和操作。在本文中，我们探讨了如何使用Shell脚本来查找并清理子进程和僵尸进程。僵尸进程是指已结束但其父进程尚未从内核中删除其进程描述符的进程...
shell脚本监控kafka-connect集群节点异常发送邮件通知.rar
12-29
这个压缩包文件"shell脚本监控kafka-connect集群节点异常发送邮件通知"应该包含了这个完整的脚本以及相关的配置文件，用户只需根据自己的环境进行适当的修改即可投入使用。对于那些不熟悉shell脚本或者Kafka Connect...
使用shell脚本连接数据库
qq_45229597的博客
09-13 5162
shell脚本操作数据库如下。
利用DataWorks赋值节点补强参数功能
真新镇的涅法雷姆
08-02 2706
一、前言 DataWorks提供了系统参数供周期调度的任务使用，一般最常用到的系统参数是这两个： ${bdp.system.bizdate}和${bdp.system.cyctime}，分别代表任务运行时的昨天和当前时间。 系统参数 简写模式 格式 示例 ${bdp.system.bizdate} ${bizdate} yyyymmdd 20190802 ${bdp.syste...
Dataworks调度能力升级——分支节点
测试0901-1
01-14 1155
分支节点登场 在日常Dataworks的使用过程中，经常会有同学遇到如下的问题：我有一个节点，需要每个月的最后一天执行，应该如何设置？ 这种情况我们一般的回复是：由于cron表达式无法表达这种场景，所以暂时无法支持。 但是，现在我们有了分支节点，它让我们可以套用switch-case的编程模型来搞定这个问题。下面有请分支节点和他的小兄弟们粉墨登场！！！ ...
DataWorks V2.0 系列公开课
weixin_34124577的博客
11-13 2135
欢迎走进DataWorks大数据世界! 此次公开课已于12月6日圆满结束！课程内容回放如下：# 【公开课直播回放】第一期（DataWorks V2.0 前生后世）直播回放地址：https://yq.aliyun.com/live/606第二期（常见问题与难点解析）直播回放地址：https://yq.aliyun.com/live/610第三期（DataW...
数据开发-dataworks的使用之helloworld
感性企鹅的专栏
09-10 2646
背景 推荐系统和数据开发息息相关，本博文将阐述使用阿里的dataworks的helloworld。 申请账号与环境预览 我直接向运维申请了公司数据开发的子账号，包括以下： 子账号的模块权限，可以直接使用阿里的pass平台进行开发工作，功能已经很全 accessId和sk，用于编程调用阿里api时确保安全的 helloworld查询 打开临时查询 新建一个自己的查询。输入查询指令...
DataWorks开发ODPS SQL开发生产环境自动补全ProjectName
阿里云技术
06-24 616
本文针对此类场景实现在DataWorks能够自动识别任务在开发环境使用开发环境的名称，在生产环境使用生产环境的名称。
dataworks 2.0 开发整理
万物皆导
01-15 7472
dataworks 简介 本文将为您介绍什么是DataWorks，以及DataWorks的功能、约束与限制。 DataWorks（数据工场，原大数据开发套件）是阿里云数加重要的PaaS平台产品，提供数据集成、数据开发、数据管理、数据治理、数据分享等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。 DataWorks基于MaxCompute作为核心的计算、存储引擎，提供了...
通过阿里云的工具aliyun管理安全组脚本
完颜振江
02-11 2823
添加安全组规则 ======AuthorizeSecurityGroup.sh========= #!/bin/bash Ip=`curl -s ip.gs` aliyun ecs AuthorizeSecurityGroup --SecurityGroupId sg-bp1434mghsp198nlutvb --SourceCidrIp $Ip --IpProtocol tcp --PortRange 22/22 --NicType intranet --Policy accept --De
根据一个表的数据生成插入脚本
weixin_30915951的博客
07-31 499
if exists (select * from sysobjects where id = object_id(N'[dbo].[sp_CreateDataLoadScript]') and OBJECTPROPERTY(id, N'IsProcedure') = 1)drop procedure [dbo].[sp_CreateDataLoadScript]GOCreate Procedure...
shell脚本调用spark-sql
最新发布
03-16
可以使用以下命令在shell脚本中调用spark-sql： ``` spark-sql --master yarn --deploy-mode client --executor-memory 2g --num-executors 10 --driver-memory 1g --conf spark.sql.shuffle.partitions=200 --conf...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值