问题描述:
sqoop1.4.6
hadoop2.7.3
hive-2.1.1
本人编写的sqoop脚本如下:
参数解释:
--hcatalog-database
指定HCatalog表的数据库名称。如果未指定,default
则使用默认数据库名称。提供 --hcatalog-database
不带选项--hcatalog-table
是错误的。这不是必需的选项。
--hcatalog-table
此选项的参数值为HCatalog表名。该--hcatalog-table
选项的存在表示导入或导出作业是使用HCatalog表完成的,并且是HCatalog作业的必需选项。
--hcatalog-home
HCatalog安装的主目录。该目录应包含一个lib
子目录和一个share/hcatalog
带有必需HCatalog库的子目录。如果未指定,hcatalog.home
将检查系统属性 ,否则,HCAT_HOME
将检查系统环境变量。如果未设置这些设置,则将使用默认值,并且当前默认设置为 /usr/lib/hcatalog
。这不是必需的选项。
--create-hcatalog-table
此选项指定在导入数据时是否应自动创建HCatalog表。默认情况下,假定HCatalog表存在。表名将与转换为小写的数据库表名相同。在Automatic Table Creation
下面进一步描述。
--hcatalog-partition-keys
和 --hcatalog-partition-values
这两个选项用于指定多个静态分区键/值对。在以前的版本中,--hive-partition-key
和 --hive-partition-value
选项用于指定静态分区键/值对,但是只能提供一个级别的静态分区键。选项--hcatalog-partition-keys
和--hcatalog-partition-values
允许将多个键和值提供为静态分区键。多个选项值之间用,(逗号)分隔。
当执行脚本后,直接报org/apache/hive/hcatalog/mapreduce/HCatOutputFormat这个类未找到,首先想到的是jar没有引入hcatalog之类的。
官网给出以下解释:
就是设置环境变量的方式,,以下是我解决的方式:
直接将hcat的路径添加到环境变量即可。执行没有问题。