读代码-InputMapper

package org.apache.mahout.clustering.conversion;
目的:读取输入转换成vector输出


private static final Pattern SPACE = Pattern.compile(" ");
private Constructor<?> constructor;


用反射加载vector类

Configuration conf = context.getConfiguration();
String vectorImplClassName = conf.get("vector.implementation.class.name");
Class<? extends Vector> outputClass = conf.getClassByName(vectorImplClassName).asSubclass(Vector.class);
constructor = outputClass.getConstructor(int.class);



正则按空格拆开,装入double链表,处理了连续空格情况

String[] numbers = InputMapper.SPACE.split(values.toString());

Collection<Double> doubles = new ArrayList<Double>();
for (String value : numbers) {
if (value.length() > 0) {
doubles.add(Double.valueOf(value));
}
}


建立vector,用writeable包装,key为vector的长度,value为vector写出

Vector result = (Vector) constructor.newInstance(doubles.size());
int index = 0;
for (Double d : doubles) {
result.set(index++, d);
}
VectorWritable vectorWritable = new VectorWritable(result);
context.write(new Text(String.valueOf(index)), vectorWritable);
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值