脚本跑批到调度平台再到运维平台流程的自我总结(大数据方向)(Impala)(JMP)(DCP)

1:在大数据平台进行跑批处理(JMP):

        <1>:设置好时间(一般是当日,应用保存即可设置完毕),等待执行即可。

        <2>:若是出现报错,去查看日志,解决问题即可。

        <3>:有时候脚本中可能会出现函数报错,可能是python依赖没有更新,依赖库里的函数没有 及时更新,这种情况就是需要更新依赖包即可(网上都可以找得到的)

2:调度平台的操作(JMP)(将数据从大数据平台抽取到中间平台中):

        <1>系统管理的操作:

                先选择系统

                调整会计日期为今天

                切换会计日期

        <2>作业管理的操作:

                选择作业系统

                选择前一天的日期进行查询

                选择昨天的同一个作业进行实例的更新

        <3>实例监控的操作

                选择作业系统

                选择当天的会计日期进行查询得到刚更新的目标实例

                勾选目标实例

                进行调度异常检查

                没有问题就点击 追跑

                追跑完成

3:运维平台的操作(DCP)(将中间平台抽取到 I 表当中):

        <1>:我的项目

        <2>:选择数据库

        <3>:数据导出

        <4>:在编码行搜索调度平台调度的作业的编码

        <5>:查看详情里的推送服务器和推送路径

        <6>:去CRT里登录连接

        <7>:通过推送路径去找到最终推送到服务器里的数据文件

        <8>:查看文件的详情,核对文件里数据的条数和数据的正确性

  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

璀璨data

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值