dataworks常用命令

top instance -all; //查看空间下所有任务
wait ID;//查看logview信息,返回logview信息之后可以取消执行
kill ID;//终止任务

show recyclebin;//查看回收站(已被删除的表)
purge table [tblname]; //清除在回收站的某张表

回滚某张表操作步骤
show changelogs for table tbname partition(ds=20220309,hh=20,mm=15);
//查看某张表被删除的对应分区的jobID
undo table tbname partition(ds=20220309,hh=20,mm=15) to
1650003967787415839;
//对某个分区的数据进行回滚

–map优化
set odps.stage.mapper.split.size=4;
修改每个Map Worker的输入数据量,即输入文件的分片大小,从而间接控制每个Map阶段下Worker的数量。

set odps.sql.groupby.skewindata=True;
设置是否开启groupby防倾斜机制。

set odps.sql.mapper.cpu=20;
set odps.sql.mapper.memory=2048;
设置UDF JVM Heap使用的最大内存。
某些UDF在内存计算、排序的数据量比较大时,会报内存溢出错误,
这时候可以调大该参数,但该方法只能暂时缓解,您需要从业务上去优化UDF代码。

set odps.sql.mapper.merge.limit.size=1;

–map优化
set odps.stage.mapper.split.size=4;
–reduce优化
set odps.stage.reducer.num =10;

set odps.sql.reducer.instances=20;
set odps.sql.reducer.memory=2048;

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值