Sqoop 导入&导出

Sqoop是一个用于在Hadoop和RDBMS间进行数据导入导出的工具,它利用MapReduce实现数据传输。主要操作包括:全表导入、指定列导入、增量导入、数据导入HDFS和Hive,以及数据导出到RDBMS。在使用过程中,需注意主键、分隔符、选项文件的配置以及Hive到RDBMS导出时的目标表应预先存在。
摘要由CSDN通过智能技术生成

Sqoop 作用:
数据从RDBMS和Hadoop之间进行导入导出操作
底层就是使用MapReduce来实现的
Map 只有Map
Reduce 没有Reduce

导入: import
RDBMS --> Hdfs
RDBMS–> Hive

导出: export
Hdfs–>RDBMS
Hive–>RDBMS*

参数帮助查看—》sqoop help
[wzj@hadoop001 conf]$ sqoop help
19/12/24 14:05:55 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.16.2
usage: sqoop COMMAND [ARGS]

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table  Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import           Import a table from a database to HDFS
  import-all-tables  Import tables from a database to HDFS
  import-mainframe   Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases     List available databases on a server
  list-tables        List available tables in a database
  merge              Merge results of incremental imports
  metastore          Run a standalone Sqoop metastore
  version            Display version information

See 'sqoop help COMMAND' for information on a specific command.

exoprt : 导出
import : 导入
job : 作业
list-databases : 数据库列表
list-tables : 表列表

[wzj@hadoop001 ~]$ sqoop list-databases \
> --connect jdbc:mysql://hadoop001:3306 \
> --password 123456 \
> --username root
19/12/24 12:56:36 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.16.2
19/12/24 12:56:36 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
19/12/24 12:56:36 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
information_schema
data_hive
mysql
performance_schema
test
[wzj@hadoop001 ~]$ sqoop list-tables \
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值