助力工业物联网，工业大数据之脚本开发【五】_工业互联网大数据 csdn

+ 实现自动化脚本开发的设计思路分析

02：全量及增量采集脚本运行

• 目标：实现全量采集脚本的运行

• 实施

  • /data/dw/ods/one_make/full_imp：44张表
  • /data/dw/ods/one_make/incr_imp：57张表
  • 因oracle表特殊字段类型，导致sqoop导数据任务失败
  • oracle字段类型为：clob或date等特殊类型
  • 解决方案：在sqoop命令中添加参数，指定特殊类型字段列(SERIAL_NUM)的数据类型为string
  • —map-column-java SERIAL_NUM=String
  • 全量采集

  cd /opt/sqoop/one_make
  sh -x full_import_tables.sh
  

  • –outdir：Sqoop解析出来的MR的Java程序等输出文件输出的文件
  • 增量采集

  cd /opt/sqoop/one_make
  sh -x incr_import_tables.sh
  

  • 脚本中特殊的一些参数
  • 工单数据信息、呼叫中心信息、物料仓储信息、报销费用信息等
  • HDFS路径

  /data/dw/ods/one_make/incr_imp/表名/日期
  

  • Oracle表：组织机构信息、地区信息、服务商信息、数据字典等
  • HDFS路径

  /data/dw/ods/one_make/full_imp/表名/日期
  

  • 全量目标：将所有需要将实现全量采集的表进行全量采集存储到HDFS上
  • 增量目标：将所有需要将实现全量采集的表进行增量采集存储到HDFS上
  • 运行脚本
  • 特殊问题
  • 查看结果

• 小结

  • 实现全量采集脚本的运行

03：Schema备份及上传

• 目标：了解如何实现采集数据备份

• 实施

  • Avro文件HDFS存储

  hdfs_schema_dir=/data/dw/ods/one_make/avsc
  hdfs dfs -put ${workhome}/java_code/*.avsc ${hdfs_schema_dir}
  

  • Avro文件本地打包

  local_schema_backup_filename=schema_${biz_date}.tar.gz
  tar -czf ${local_schema_backup_filename} ./java_code/*.avsc
  

  • Avro文件HDFS备份

  hdfs_schema_backup_filename=${hdfs_schema_dir}/avro_schema_${biz_date}.tar.gz
  hdfs dfs -put ${local_schema_backup_filename} ${hdfs_schema_backup_filename}
  

  • 运行测试

  cd /opt/sqoop/one_make/
  ./upload_avro_schema.sh
  

  • 验证结果

  /data/dw/ods/one_make/avsc/
  *.avsc
  schema_20210101.tar.gz
  

  • 需求：将每张表的Schema进行上传到HDFS上，归档并且备份
  • Avro文件本地存储

  workhome=/opt/sqoop/one_make
  --outdir ${workhome}/java_code
  

  • 小结
  • 了解如何实现采集数据备份

04：Python脚本

• 目标：了解如果使用Python脚本如何实现

• 实施

  • subprocess

  call（String：LinuxCommand）：用于提交Linux命令的方法
  

  • logging

  basicConfig(level,filename,filemode,format)：用于配置日志记录的方式
  info(Messege)：用于记录具体的日志内容
  

  • time

  sleep(15) ：休眠15s
  

  • 问题：所有的操作是Sqoop、HDFS等命令操作，如何能通过Python代码控制？
  • 解决：本质上是使用Python执行了Linux的Shell命令来实现的
  • 导包

  # 用于实现执行系统操作的包
  import os
  # 用于实现执行Linux的命令的包
  import subprocess
  # 用于实现日期获取解析的包
  import datetime
  # 用于执行时间操作的包
  import time
  # 用于做日志记录的包
  import logging
  

  • 原理本质
  • 核心代码解析

• 小结

  • 了解如果使用Python脚本如何实现

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！