Avro
文章平均质量分 76
axxbc123
这个作者很懒,什么都没留下…
展开
-
【Avro三】Hadoop MapReduce读写Avro文件
Avro是Doug Cutting(此人绝对是神一般的存在)牵头开发的。 开发之初就是围绕着完善Hadoop生态系统的数据处理而开展的(使用Avro作为Hadoop MapReduce需要处理数据序列化和反序列化的场景),因此Hadoop MapReduce集成Avro也就是自然而然的事情。这个例子是一个简单的Hadoop MapReduce读取Avro格式的源文件进行计数统计,然后将计算结...原创 2015-04-08 20:27:15 · 434 阅读 · 0 评论 -
【Avro一】Avro入门
本文的目的主要是总结下基于Avro Schema代码生成,然后进行序列化和反序列化开发的基本流程。需要指出的是,Avro并不要求一定得根据Schema文件生成代码,这对于动态类型语言很有用。 1. 添加Maven依赖 <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apac...原创 2015-04-08 20:58:05 · 216 阅读 · 0 评论 -
【Avro二】Avro RPC框架
1. Avro RPC简介1.1. RPCRPC逻辑上分为二层,一是传输层,负责网络通信;二是协议层,将数据按照一定协议格式打包和解包从序列化方式来看,Apache Thrift 和Google的Protocol Buffers和Avro应该是属于同一个级别的框架,都能跨语言,性能优秀,数据精简,但是Avro的动态模式(不用生成代码,而且性能很好)这个特点让人非常喜欢,比较适合R...原创 2015-04-09 23:16:03 · 507 阅读 · 0 评论 -
【Hive十三】Hive读写Avro格式的数据
1. 原始数据hive> select * from word; OK1 MSN 10 QQ 100 Gtalk 1000 Skype 2. 创建avro格式的数据表 hive> CREATE TABLE avro_table(age INT, name STRING)STORED AS AVRO; 3. 数据表...原创 2015-04-14 17:25:15 · 1166 阅读 · 0 评论