脚本
根据实际开发过程中的需求,进行脚本编写
铭哥大数据
这个作者很懒,什么都没留下…
展开
-
Schema上传备份的shell/python脚本
直接上代码#!/usr/bin/env bash# 上传# /bin/bashworkhome=/opt/sqoop/one_makehdfs_schema_dir=/data/dw/ods/one_make/avscbiz_date=20210101biz_fmt_date=2021-01-01local_schema_backup_filename=schema_${biz_date}.tar.gzhdfs_schema_backup_filename=${hdfs_schema_di原创 2022-02-15 22:51:46 · 1149 阅读 · 1 评论 -
用sqoop将Oracle数据全量/增量导入到HIve的Shell/python脚本(第二版)
全量导入#!/usr/bin/env bash# /bin/bashbiz_date=20210101biz_fmt_date=2021-01-01dw_parent_dir=/data/dw/ods/one_make/full_impworkhome=/opt/sqoop/one_makefull_imp_tables=${workhome}/full_import_tables.txtmkdir ${workhome}/logorcl_srv=oracle.bigdata.cnor原创 2022-02-15 22:17:23 · 2409 阅读 · 1 评论 -
用sqoop将Oracle数据全量导入到HIve的Shell脚本(第一版)
前言: 这是本人写的Shell脚本,可用于 sqoop将Oracle数据全量/增量 导入到HIve中,也为大家提供了详细的注释运行条件:在linux中运行下面脚本时,需要传入时间参数,来记录每次导入的时间,来减少工作失误.#!/bin/bash##-----------------------------------------------------------------------------------------##--程序名称:抽取ORACLE表数据到HIVE##--功能描述: 每日原创 2022-01-14 12:59:00 · 968 阅读 · 0 评论