2018年06月_YancyChang

12月 11月 10月 06月 05月 04月 01月

原创 avro的使用详解

一、avro的介绍1、概括avro是一个数据序列化系统，它提供丰富的数据结构快速可压缩的二进制数据形式存储持久数据的文件容器远程过程调用RPC简单的动态语言结合功能2、类型二、avro在hadoop的使用1、模式确定例如：{"namespace": "example.avro", "type": "r

2018-06-19 16:15:00 15116

转载 Avro：使用Avro MapReduce进行排序

在MapReduce作业中，框架保证Reducer收到的key是有序的。利用这一点，我们可以对Avro文件进行排序。假设我们有如下的Schema：{"namespace": "me.lin.avro.mapreduce", "type": "record", "name": "User", "fields": [ {"name": &

2018-06-19 10:23:12 386

JobControl设计及用法1、JobControl设计原理分析：JobControl由两个类组成：Job和JobControl。Job类封装了一个MapReduce作业及其对应的依赖关系，主要负责监控各个依赖作业的运行状态，一次更新自己的状态。作业刚开始处于WAITING状态。如果没有依赖作业或者所有作业均已运行完成，则进入READY状态。一旦进入REDAY状态，则作业可被提交到Hadoop集...

2018-06-05 21:26:01 1583

原创 hadoop的Writable常规使用

一、writable接口二、使用1、常规不讲例如：BooleanWritable、IntWritable、Text等，可通过构造器或者set方法创建，get方法获得。2、IntWritable、LongWritable、VintWritable和VlongWritable其中变长类型能节省储存空间，尤其是在-127到127之间的数值；而对于数值在整个值域空间...

2018-06-05 10:06:00 1791