编写sqoop的自动shell脚本完成对hive中ods层的增量数据导入

奇迹虎虎

已于 2022-02-21 20:06:05 修改

阅读量863

点赞数 1

分类专栏： # Hive 文章标签： mysql sqoop hive 数据仓库 etl

于 2022-02-17 15:24:02 首次发布

本文链接：https://blog.csdn.net/qq_17685725/article/details/122984264

版权

例子1：编写sqoop的自动shell脚本完成对hive中ods层的增量数据导入

#!/bin/bash

if [ $# -eq 1 ]; then
  date_str=`date -d "$1" +"%Y-%m-%d"`
  year_month=`date -d "$1" +"%Y_%m"`
else
  date_str=`date -d "-1 day" +"%Y-%m-%d"`
  year_month=`date -d "-1 day" +"%Y_%m"`
fi

# echo ${date_str}
# echo ${year_month}

SQOOP_HOME="/usr/bin/sqoop"
JDBCURL="jdbc:mysql://node151:3306/nev?useUnicode=true&characterEncoding=utf-8"
USERNAME="root"
PASSWORD="Heima@123456"

# 1 处理 主表 增量数据
${SQOOP_HOME} import \
--connect "${JDBCURL}" \
--username ${USERNAME} \
--password ${PASSWORD} \
--query "select
id,
create_date_time,
session_id,
sid,
create_time,
seo_source,
seo_keywords,
ip,
area,
country,
province,
city,
origin_channel,
user as user_match,
manual_time,
begin_time,
end_time,