sqoop java实例,Java SqoopOptions.setNumMappers方法代码示例

该博客详细介绍了如何使用Sqoop进行数据迁移,包括设置直接模式、批处理、表名、列名、映射器数量、MapReduce作业名称、导出路径等关键选项。同时,还涉及了更新键、临时表、调用方法以及各种格式选项的配置,为大数据环境下的数据迁移提供了一套完整的参数设定示例。
摘要由CSDN通过智能技术生成

import com.cloudera.sqoop.SqoopOptions; //导入方法依赖的package包/类

@Override

/** {@inheritDoc} */

public void applyOptions(CommandLine in, SqoopOptions out)

throws InvalidOptionsException {

try {

applyCommonOptions(in, out);

if (in.hasOption(DIRECT_ARG)) {

out.setDirectMode(true);

}

if (in.hasOption(BATCH_ARG)) {

out.setBatchMode(true);

}

if (in.hasOption(TABLE_ARG)) {

out.setTableName(in.getOptionValue(TABLE_ARG));

}

if (in.hasOption(COLUMNS_ARG)) {

String[] cols= in.getOptionValue(COLUMNS_ARG).split(",");

for (int i=0; i

cols[i] = cols[i].trim();

}

out.setColumns(cols);

}

if (in.hasOption(NUM_MAPPERS_ARG)) {

out.setNumMappers(Integer.parseInt(in.getOptionValue(NUM_MAPPERS_ARG)));

}

if (in.hasOption(MAPREDUCE_JOB_NAME)) {

out.setMapreduceJobName(in.getOptionValue(MAPREDUCE_JOB_NAME));

}

if (in.hasOption(EXPORT_PATH_ARG)) {

out.setExportDir(in.getOptionValue(EXPORT_PATH_ARG));

}

if (in.hasOption(JAR_FILE_NAME_ARG)) {

out.setExistingJarName(in.getOptionValue(JAR_FILE_NAME_ARG));

}

if (in.hasOption(UPDATE_KEY_ARG)) {

out.setUpdateKeyCol(in.getOptionValue(UPDATE_KEY_ARG));

}

if (in.hasOption(STAGING_TABLE_ARG)) {

out.setStagingTableName(in.getOptionValue(STAGING_TABLE_ARG));

}

if (in.hasOption(CLEAR_STAGING_TABLE_ARG)) {

out.setClearStagingTable(true);

}

if (in.hasOption(CALL_ARG)) {

out.setCall(in.getOptionValue(CALL_ARG));

}

applyValidationOptions(in, out);

applyNewUpdateOptions(in, out);

applyInputFormatOptions(in, out);

applyOutputFormatOptions(in, out);

applyCodeGenOptions(in, out, false);

applyHCatalogOptions(in, out);

applyOdpsOptions(in, out);

} catch (NumberFormatException nfe) {

throw new InvalidOptionsException("Error: expected numeric argument.\n"

+ "Try --help for usage.");

}

}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值