qq_29359303的博客

使用SQOOP将hive的数据导入到mysql使用SQOOP将hive的数据导入到mysql我们一般会使用sqoop 将mysql的数据导入到hive中,但是有时候也会有需求使用。使用的脚本如下：（一种方式）sqoop export --connect jdbc:mysql://127.0.0.1:3306/test?serverTimezone=Asia/Shanghai\&tinyInt1isBit=false\&autoReconnect=true --username r

#IMPALA刷新元数据的两种方式impala刷新元数据又两种方式，分别是INVALIDATE METADATA和REFRESH操作。其中REFRESH是轻量级的，对表没有进行ddl操作，进行增量操作的刷新方式。INVALIDATE METADATA 是重量级的刷新方式，使用这个命令后会使表的元数据失效，但是可能会造成延迟。#在CDH6.X刷新元数据方式在以前的cdh版本中，我们一般是使用脚...

DataX介绍以及和sqoop对比，和性能对比DataX介绍： DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括 关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等 各种异构数据源之间稳定高效的数据同步功能。DataX设计理念DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，...