![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Avro
Mike_H
这个作者很懒,什么都没留下…
展开
-
Avro技术应用_1. Schema and Code Generation
Github 源码路径:https://github.com/Hanmourang原创 2015-11-29 17:10:56 · 1309 阅读 · 0 评论 -
Avro技术应用_6. Avro Format & Text Format 之间的转换 --待完善
本文将跟大家探讨一下,Avro 数据格式与文本文件格式直接的转换方法。具体内容将会在后续进行完善,敬请期待:原创 2015-12-06 09:08:48 · 564 阅读 · 0 评论 -
Avro技术应用_10. 基于键值 - 在 MR 中把文本文件(csv)转换成键值对格式的 Avro 文件 -- 待完善
具体内容将会在后续进行完善,敬请期待原创 2015-12-06 15:08:14 · 795 阅读 · 0 评论 -
Avro技术应用_8. 混合模式 - MR 输入/出文件为 Avro类型 -- 待完善
具体内容将会在后续进行完善,敬请期待原创 2015-12-06 15:03:46 · 526 阅读 · 0 评论 -
Hadoop中数据序列化的常用方式:SequenceFile, Avro, Thrift, ProtoBuff -- 待完善
本节将跟大家讨论一下 Hadoop 中常见的数据序列化场景:SequenceFile, Avro, Thrift, Protocol Buffers具体内容将会在后续进行补充,敬请期待原创 2015-12-06 08:57:47 · 1436 阅读 · 0 评论 -
Avro技术应用_7. 将 Avro 数据读写到一个 Parquet 文件中 -- 待完善
本文将跟大家探讨一下 Avro 与 Parquet 的关系及区别。以及如何将 Avro 数据写入到一个 Parquet 文件中。具体内容将会在后续进行完善,敬请期待:原创 2015-12-06 09:12:00 · 1057 阅读 · 0 评论 -
Avro技术应用_5. 利用 Camus 来将 Avro 数据从 Kafka 拷贝到 HDFS -- 待完善
本节主要跟大家介绍一些 LinkedIn 的 Camus 项目以及它是如何与 Kafka 合作来处理数据的。在这里需要注意的是,Camus 目前已经不建议使用,取而代之的是 LinkedIn 2014年10月份发布的一款 Gobblin 系统。相比较Camus 系统来说,它有了很大程度上的改善,这些内容将会在本节跟大家一起探讨探讨:具体内容将会在后续进行完善,敬请期待:原创 2015-12-06 09:04:47 · 1337 阅读 · 1 评论 -
Avro技术应用_11. 将 HBase 数据存储为 Avro格式的二进制数据 -- 待完善
具体内容将会在后续进行完善,敬请期待原创 2015-12-06 15:11:45 · 1630 阅读 · 0 评论 -
Hive_10. Hive中常用的 SerDe 和 当前社区的状态
最近在 Google 上看到一篇在 Hive 中利用正则表达式来自定义反序列化处理文本文件。百度后发现这块知识目前还没有人系统的总结一下。所以我就不才把之前记录的资料跟大家分享一下:SerDe 是Serializer 和 Deserializer 的简称。它是 Hive用来处理记录并且将它们映射到 Hive 表中的字段数据类型。为了更好的阐述使用 SerDe 的场景,我们需要了解一下 Hi原创 2015-12-03 15:32:49 · 11654 阅读 · 1 评论 -
Avro技术应用_12. 将 Avro 数据加载到 Spark 中
这是一篇翻译,原文来自:How to load some Avro data into Spark。首先,为什么使用 Avro ?最基本的格式是 CSV ,其廉价并且不需要顶一个一个 schema 和数据关联。随后流行起来的一个通用的格式是 XML,其有一个 schema 和 数据关联,XML 广泛的使用于 Web Services 和 SOA 架构中。不幸的是,其非常冗长翻译 2015-12-06 15:14:22 · 972 阅读 · 0 评论 -
Avro技术应用_9. 基于记录 - MR 输入/出/中间数据使用 Avro 类型 -- 待完善
具体内容将会在后续进行完善,敬请期待原创 2015-12-06 15:05:54 · 446 阅读 · 0 评论 -
Avro技术应用_2. 使用 Avro 来存储大量小的二进制文件
Github 源码:https://github.com/Hanmourang原创 2015-11-29 17:36:58 · 2677 阅读 · 0 评论 -
Hive_1. 数据存储 & 压缩
Github 源码:https://github.com/Hanmourang原创 2015-11-29 18:53:54 · 2925 阅读 · 0 评论 -
Avro技术应用_4. 在 Pig 中实现对 Avro 数据的读写
Github 源码:https://github.com/Hanmourang原创 2015-11-29 18:23:38 · 931 阅读 · 0 评论 -
Avro技术应用_3. 利用 Hive 表处理 Avro 数据
Github 源码:https://github.com/Hanmourang原创 2015-11-29 18:14:57 · 2774 阅读 · 0 评论