大数据--Hadoop生态7--sqoop总结

目录

一：sqoop简介

二：sqoop使用

三：sqoop常见操作命令

---

一：sqoop简介

1. sqoop是一个高效传输海量数据而设计的工具，一般用于从关系型数据库同步数据到非关系型数据库中。
2. 使用sqoop进行数据的导入，导出，其本质上是运行Mapreduce程序，充分利用了MR的并行化和容错性。
3. sqoop支持增量更新，将新记录添加到最近一次的导出的数据源上。

二：sqoop使用

    获取MySQL数据库中数据库名称

sqoop list-database 
-connect 'jdbc:mysql://10.1.96.xx:3306' 
-username test 
-password test

  获取sqlserver数据库的某个数据库下的所有表的名称

sqoop list-tables 
connect'jdbc:sqlserver://192.168.12.xx:1433;database=pems;
username=sa;password=v3pems@2020'

 sqoop 将oracle数据库中的某个库中的所有表导入到hive中

sqoop import-all-tables 
-connect jdbc:oracle:thin:@10.89.142.207:1521:orcl 
-username scott -password tiger -hive-database eda 
-hive-import -create-hive