本章主要介绍了Sqoop在数据同步场景下的应用实践,主要涉及到讲解Sqoop同步数据方面的多种实现方式和功能。Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
应用场景:
1、将原有关系型数据库(mysql,oracle)的数据同步到大数据平台如hive、hbase。
2、将大数据平台的数据同步到关系型数据库中。
简单应用:表对表的同步。
复杂应用:在同步时可以通过query-sql来指定所要同步的数据。
导入(import)
导入的意思就是将关系数据库的数据导入到HDFS、Hive、HBase中
导入到HIve