hcatalog配置以及sqoop集成使用

hcatalog配置以及sqoop集成使用

1、环境变量配置

vim ~/.bashrc

export HCAT_HOME=/usr/hive/hcatalog
export PATH=$PATH:$HCAT_HOME/bin

2、查看hive版本下载对应的hive-hcatalog放在hcatalog目录下

查看hive版本

hive --version

Hive 2.3.6

我的hive版本是2.3.6，则在maven库下载对应的jar包

https://mvnrepository.com/artifact/org.apache.hive.hcatalog/hive-hcatalog-core/2.3.6

放在如下目录

/usr/hive/hcatalog/share/hcatalog/hive-hcatalog-core-2.3.6.jar

3、sqoop使用hcatalog进行导数

sqoop export \
-Dmapreduce.job.queuename=test \
-Dmapreduce.job.max.split.locations=2000 \
--mapreduce-job-name task_name \
--conn