sqoop实时mysql增量_Hive应用sqoop从MS-SQL 和Oracle 全量增量导入至HIVE

最新推荐文章于 2023-09-04 08:53:17 发布

杨泽熙

最新推荐文章于 2023-09-04 08:53:17 发布

阅读量103

点赞数

文章标签： sqoop实时mysql增量

本文链接：https://blog.csdn.net/weixin_34378126/article/details/114000607

版权

#Set the RDBMS connection params

rbms_driver='com.microsoft.sqlserver.jdbc.SQLServerDriver'

rdbms_connstr="jdbc:sqlserver://MSSQL数据库主机;username=用户名;password=密码;database=库名"

rdbms_username="MSSQL数据库用户名"

rdbms_pwd="MSSQL数据库密码"

#Set the source table in RDBMS

source_table="MSSQL数据库要导入的表"

import_columns="SSQL数据库要导入的表的字段"

#Set the hive tables

hive_table_name="导入Hive中Hive的表名"

hive_database="导入Hive中Hive的库名"

#---------------------------------------------------------

#Import init data in RDBMS into Hive

$SQOOP_HOME/bin/sqoop import --driver ${rbms_driver} -connect ${rdbms_connstr} --username ${rdbms_username} --password ${rdbms_pwd} --table ${source_table} --columns "${import_columns}" --hive-import --split-by 分割字段--hive-import --hive-overwrite --hive-table ${hive_table_name} --hive-database ${hive_database} --hive-delims-replacement "\\\\n" 2>&1 >> /opt/swb/日志.log