sqoop从关系型数据库导数据到hdfs和hbase上

最新推荐文章于 2024-07-11 21:41:59 发布

weixin_33929309

最新推荐文章于 2024-07-11 21:41:59 发布

阅读量157

点赞数

文章标签：数据库大数据 python

原文链接：https://my.oschina.net/zhangliMyOne/blog/97236

版权

2019独角兽企业重金招聘Python工程师标准>>>

本人最近弄了些sqoop导数据方法和命令，关于批量导入和一般导入，在本机器上linux环境运行正常；

（一）Oracle导入到hdfs上
sqoop import --connect jdbc:oracle:thin:@ip:端口号:databaseName --username userName --password password --query "sql语句 where \$CONDITIONS" --target-dir 目录名 --split-by 主键 -m 4

（二）Mysql导入到hbase上
（1）一般导入(新建hbase表)
sqoop import --connect jdbc:mysql://ip:端口号/databaseName?charset=utf-8 --username userName --password password --table tableName --hbase-table hbaseTableName --column-family 列族 --hbase-row-key HbaseRowKey --split-by 主键 -m 4 --hbase-create-table

（2）批量导入
sqoop import --connect jdbc:mysql://ip:端口号/databaseName?charset=utf-8 --username userName --password password --table tableName --hbase-table hbaseTableName --column-family 列族 --hbase-row-key hbaseRowKey --split-by 主键 -m 4 --incremental append --check-column 主键 --last-value 0

（三）Mysql导入到hdfs上

sqoop import --connect jdbc:mysql://ip:端口号/databaseName?charset=utf-8 --username userName --password password --table tableName --target-dir 目录名 --split-by 主键 -m 4 --incremental append --check-column 主键 --last-value 0

sqoop import --connect jdbc:mysql://ip:端口号/databaseName?charset=utf-8 --username userName --password password --query "SQL语句 where \$CONDITIONS " --target-dir 目录名 --split-by 主键 -m 4 --incremental append --check-column 主键 --last-value 0

转载于:https://my.oschina.net/zhangliMyOne/blog/97236