sqoop支持Hcatalog使用hcatalog参数后问题集锦

官网:Sqoop User Guide (v1.4.6)

问题描述:

sqoop1.4.6

hadoop2.7.3

hive-2.1.1

本人编写的sqoop脚本如下:

参数解释:

--hcatalog-database

指定HCatalog表的数据库名称。如果未指定,default则使用默认数据库名称。提供 --hcatalog-database不带选项--hcatalog-table是错误的。这不是必需的选项。

--hcatalog-table

此选项的参数值为HCatalog表名。该--hcatalog-table选项的存在表示导入或导出作业是使用HCatalog表完成的,并且是HCatalog作业的必需选项。

--hcatalog-home

HCatalog安装的主目录。该目录应包含一个lib子目录和一个share/hcatalog带有必需HCatalog库的子目录。如果未指定,hcatalog.home将检查系统属性 ,否则,HCAT_HOME将检查系统环境变量。如果未设置这些设置,则将使用默认值,并且当前默认设置为 /usr/lib/hcatalog。这不是必需的选项。

--create-hcatalog-table

此选项指定在导入数据时是否应自动创建HCatalog表。默认情况下,假定HCatalog表存在。表名将与转换为小写的数据库表名相同。在Automatic Table Creation 下面进一步描述。

--hcatalog-partition-keys 和 --hcatalog-partition-values

这两个选项用于指定多个静态分区键/值对。在以前的版本中,--hive-partition-key和 --hive-partition-value选项用于指定静态分区键/值对,但是只能提供一个级别的静态分区键。选项--hcatalog-partition-keys--hcatalog-partition-values 允许将多个键和值提供为静态分区键。多个选项值之间用(逗号)分隔。

当执行脚本后,直接报org/apache/hive/hcatalog/mapreduce/HCatOutputFormat这个类未找到,首先想到的是jar没有引入hcatalog之类的。

官网给出以下解释:

就是设置环境变量的方式,,以下是我解决的方式:

直接将hcat的路径添加到环境变量即可。执行没有问题。

  • 7
    点赞
  • 33
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值