独自登高楼 望断天涯路

学lucene 学hadoop,Google/baidu搜:“独自登高楼”,进入本博客

hadoop深入研究:(十八)——Avro schema兼容

转载请写明来源地址:http://blog.csdn.net/lastsweetop/article/details/9817999所有源码在github上,https://github.com/lastsweetop/styhadoop

2013-08-23 15:19:38

阅读数:9408

评论数:1

hadoop深入研究:(十七)——Avro Datafile

转载请写明来源地址:http://blog.csdn.net/lastsweetop/article/details/9773233所有源码在github上,https://github.com/lastsweetop/styhadoop

2013-08-09 16:48:18

阅读数:8405

评论数:1

hadoop深入研究:(十六)——Avro序列化与反序列化

转载请写明来源地址:http://blog.csdn.net/lastsweetop/article/details/9664233所有源码在github上,https://github.com/lastsweetop/styhadoop

2013-08-06 15:33:31

阅读数:20789

评论数:3

hadoop深入研究:(十五)——Avro Schemas

转载请写明来源地址:http://blog.csdn.net/lastsweetop/article/details/9448961所有源码在github上,https://github.com/lastsweetop/styhadoop

2013-08-05 19:39:39

阅读数:7987

评论数:0

hadoop深入研究:(十四)——Avro简介

转载请写明来源地址:所有源码在github上,https://github.com/lastsweetop/styhadoop

2013-07-30 11:58:33

阅读数:8729

评论数:0

hadoop深入研究:(十三)——序列化框架

转载请写明来源地址:http://blog.csdn.net/lastsweetop/article/details/9360075所有源码在github上,https://github.com/lastsweetop/styhadoop框架简介MapReduce仅仅可以支持Writable做ke...

2013-07-22 21:36:44

阅读数:7976

评论数:2

hadoop深入研究:(十二)——自定义Writable

hadoop虽然已经实现了一些非常有用的Writable,而且你可以使用他们的组合做很多事情,但是如果你想构造一些更加复杂的结果,你可以自定义Writable来达到你的目的,我们以注释的方式对自定义Writable进行讲解(不许说我只帖代码占篇幅哦,姿势写在注释里了)

2013-07-18 19:19:32

阅读数:15967

评论数:12

hadoop深入研究:(十一)——序列化与Writable实现

转载请写明来源地址:所有源码在github上,https://github.com/lastsweetop/styhadoop简介在hadoop中,Writable的实现类是个庞大的家族,我们在这里简单的介绍一下常用来做序列化的一部分。java原生类型除char类型以外,所有的原生类型都有对应的W...

2013-07-17 12:03:30

阅读数:15872

评论数:5

hadoop深入研究:(十)——序列化与Writable接口

序列化和反序列化就是结构化对象和字节流之间的转换,主要用在内部进程的通讯和持久化存储方面。hadoop自身的序列化存储格式就是实现了Writable接口的类,他只实现了前面两点,压缩和快速。但是不容易扩展,也不跨语言。

2013-07-05 01:41:44

阅读数:14693

评论数:3

hadoop深入研究:(九)——mapreduce中的压缩

转载请注明出处:http://blog.csdn.net/lastsweetop/article/details/9187721作为输入 当压缩文件做为mapreduce的输入时,mapreduce将自动通过扩展名找到相应的codec对其解压。作为输出 当mapreduce的输出文件需要压缩时,可...

2013-06-28 09:20:46

阅读数:13911

评论数:2

hadoop深入研究:(八)——codec

转载请注明出处:http://blog.csdn.net/lastsweetop/article/details/9173061所有源码在github上,https://github.com/lastsweetop/styhadoop简介codec其实就是coder和decoder两个单词的词头组...

2013-06-27 12:09:23

阅读数:11299

评论数:3

hadoop深入研究:(七)——压缩

转载请标明出处:hadoop深入研究:(七)——压缩文件压缩主要有两个好处,一是减少了存储文件所占空间,另一个就是为数据传输提速。在hadoop大数据的背景下,这两点尤为重要,那么我现在就先来了解下hadoop中的文件压缩。hadoop里支持很多种压缩格式,我们看一个表格:DEFLATE是同时使用...

2013-06-24 16:27:32

阅读数:10845

评论数:1

hadoop深入研究:(六)——HDFS数据完整性

转载请注明出处:hadoop深入研究:(六)——HDFS数据完整性数据完整性 IO操作过程中难免会出现数据丢失或脏数据,数据传输得量越大出错得几率越高。校验错误最常用得办法就是传输前计算一个校验和,传输后计算一个校验和,两个校验和如果不相同就说明数据存在错误,比较常用得错误校验码是CRC32.hd...

2013-06-24 11:52:03

阅读数:10746

评论数:4

hadoop深入研究:(五)——Archives

转载请注明来源地址:http://blog.csdn.net/lastsweetop/article/details/9123155简介我们在hadoop深入研究:(一)——hdfs介绍里已讲过,hdfs并不擅长存储小文件,因为每个文件最少一个block,每个block的元数据都会在namenod...

2013-06-21 17:16:32

阅读数:10899

评论数:6

hadoop深入研究:(四)——distcp

转载请注明出处:http://blog.csdn.net/lastsweetop/article/details/9086695 我们前几篇文章讲的都是单线程的操作,如果要并行拷贝很多文件,hadoop提供了一个小工具distcp,最常见的用法就是在两个hadoop集群间拷贝文件,帮助文档很详尽,...

2013-06-18 17:46:13

阅读数:11932

评论数:2

hadoop深入研究:(三)——hdfs数据流

以下几个小节并补独立,都是相辅相成的,要结合来看,你就会发现很多有趣的地方。转载请注明来源地址:http://blog.csdn.net/lastsweetop/article/details/90656671.拓扑距离这里简单讲下hadoop的网络拓扑距离的计算在大数量的情景中,带宽是稀缺资源,...

2013-06-12 17:38:20

阅读数:12502

评论数:11

hadoop深入研究:(二)——java访问hdfs

转载请注明出处,http://blog.csdn.net/lastsweetop/article/details/9001467所有源码在github上,https://github.com/lastsweetop/styhadoop读数据使用hadoop url读取比较简单的读取hdfs数据的方...

2013-06-03 21:28:09

阅读数:17361

评论数:6

hadoop深入研究:(一)——hdfs介绍

转载请注明出处:http://blog.csdn.net/lastsweetop/article/details/8992505hdfs设计原则1.非常大的文件:这里的非常大是指几百MB,GB,TB.雅虎的hadoop集群已经可以存储PB级别的数据2.流式数据访问:基于一次写,多次读。3.商用硬件...

2013-05-31 15:31:20

阅读数:13584

评论数:6

intellij IDEA下远程调试hadoop

转载请注明出处,来源地址:http://blog.csdn.net/lastsweetop/article/details/89645201.前言Google I/O 2013开发者大会上被android studio震撼,没想到intellij IDEA变的如此强大,我一直是eclipse的忠实...

2013-05-23 12:30:22

阅读数:25710

评论数:17

win7下hadoop安装配置注意事项

在win7下安装hadoop和其他windows平台有很多不同,通用的步骤就不重复了,把遇到的问题总结一下给大家参考,以免走弯路。 说起来很简单只需要注意几步,千万不要按教程来。1.chown SYSTEM.None empty 2.*** Query: Should privilege sepa...

2012-11-05 12:29:44

阅读数:12529

评论数:3

提示
确定要删除当前文章?
取消 删除
关闭
关闭