MapReduce读写ORC文件

MapReduce读写ORC文件

ORC的全称是Optimized Row Columnar。ORC文件格式是hadoop生态圈中的一种列式存储格式，最早来自于Apache Hive， 有着非常高的压缩比和读取效率，成为Hive中常用的一种文件格式。

1、读ORC文件

OrcFileReadMapper.java
---------------------------------------
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.orc.mapred.OrcStruct;

import java.io.IOException;

/**
* @author lyf
* @since 2018/06/16
*/
public class OrcFileReadMapper extends Mapper<NullWritable, OrcStruct, Text, NullWritable> {

    private Text outputKey = new Text();

    @Override
    protected void map(NullWritable key, OrcStruct value, Context context) throws IOException, InterruptedException {
        StringBuffer sb= new StringBuffer();

        sb.append(value.getFieldValue(0));      //通过下标索引获取数据
        sb.append(value.getFieldValue(1));
        sb.append(value.getFieldValue(2));
        sb.append(value.getFieldValue("age"));      //也可以通过字段名获取数据

        // 打印输出获取到的数据
        System.out.println(sb.toString());
        outputKey = new Text(sb.toString());

        context.write(outputKey, NullWritable.get());
    }
}

OrcFileReadJob.java
--------