sqoop的原生抽取方式与HCatalog抽取的区别

 

https://blog.csdn.net/m0_49834705/article/details/111198502

1. Sqoop抽取的两种方式
对于Mysql数据的采集，通常使用Sqoop来进行。
通过Sqoop将关系型数据库数据到Hive有两种方式，一种是原生Sqoop API，一种是使用HCatalog API。两种方式略有不同。
HCatalog方式与Sqoop方式的参数基本都是相同，只是个别不一样，都是可以实现Sqoop将数据抽取到Hive。

Sqoop可以实现Hadoop集群与关系型数据库之间的数据的导出和导入.

两者的区别:
1. 文件格式支持不同,HCatalog支持新的文件格式:RCFile,ORCFile
2. HCatalog更安全,不允许覆盖,原生sqoop抽取支持覆盖
3. 字段匹配,sqoop原生是顺序匹配mysql和hive字段
           HCatalog通过字段名字进行匹配,更容易读,不容易出错
1
2
3
4
5
参数:

2. sqoop1 和 sqoop2的区别
sqoop1 是客户端Client方式运行的,只有在需要的时候才会通过cmd运行
sqoop2: 是服务端server运行的,通过Blowser操作,一致运行
————————————————
版权声明：本文为CSDN博主「刘啊福」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/m0_49834705/article/details/111198502