MapReduce读写ORC文件
ORC的全称是Optimized Row Columnar。ORC文件格式是hadoop生态圈中的一种列式存储格式,最早来自于Apache Hive, 有着非常高的压缩比和读取效率,成为Hive中常用的一种文件格式。
1、读ORC文件
OrcFileReadMapper.java
---------------------------------------
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.orc.mapred.OrcStruct;
import java.io.IOException;
/**
* @author lyf
* @since 2018/06/16
*/
public class OrcFileReadMapper extends Mapper<NullWritable, OrcStruct, Text, NullWritable> {
private Text outputKey = new Text();
@Override
protected void map(NullWritable key, OrcStruct value, Context context) throws IOException, InterruptedException {
StringBuffer sb= new StringBuffer();
sb.append(value.getFieldValue(0)); //通过下标索引获取数据
sb.append(value.getFieldValue(1));
sb.append(value.getFieldValue(2));
sb.append(value.getFieldValue("age")); //也可以通过字段名获取数据
// 打印输出获取到的数据
System.out.println(sb.toString());
outputKey = new Text(sb.toString());
context.write(outputKey, NullWritable.get());
}
}
OrcFileReadJob.java
--------