独自登高楼 望断天涯路

学lucene 学hadoop,Google/baidu搜:“独自登高楼”,进入本博客

hadoop深入研究:(九)——mapreduce中的压缩

转载请注明出处:http://blog.csdn.net/lastsweetop/article/details/9187721作为输入 当压缩文件做为mapreduce的输入时,mapreduce将自动通过扩展名找到相应的codec对其解压。作为输出 当mapreduce的输出文件需要压缩时,可...

2013-06-28 09:20:46

阅读数:13955

评论数:2

hadoop深入研究:(八)——codec

转载请注明出处:http://blog.csdn.net/lastsweetop/article/details/9173061所有源码在github上,https://github.com/lastsweetop/styhadoop简介codec其实就是coder和decoder两个单词的词头组...

2013-06-27 12:09:23

阅读数:11317

评论数:3

hadoop深入研究:(七)——压缩

转载请标明出处:hadoop深入研究:(七)——压缩文件压缩主要有两个好处,一是减少了存储文件所占空间,另一个就是为数据传输提速。在hadoop大数据的背景下,这两点尤为重要,那么我现在就先来了解下hadoop中的文件压缩。hadoop里支持很多种压缩格式,我们看一个表格:DEFLATE是同时使用...

2013-06-24 16:27:32

阅读数:10865

评论数:1

hadoop深入研究:(六)——HDFS数据完整性

转载请注明出处:hadoop深入研究:(六)——HDFS数据完整性数据完整性 IO操作过程中难免会出现数据丢失或脏数据,数据传输得量越大出错得几率越高。校验错误最常用得办法就是传输前计算一个校验和,传输后计算一个校验和,两个校验和如果不相同就说明数据存在错误,比较常用得错误校验码是CRC32.hd...

2013-06-24 11:52:03

阅读数:10769

评论数:4

hadoop深入研究:(五)——Archives

转载请注明来源地址:http://blog.csdn.net/lastsweetop/article/details/9123155简介我们在hadoop深入研究:(一)——hdfs介绍里已讲过,hdfs并不擅长存储小文件,因为每个文件最少一个block,每个block的元数据都会在namenod...

2013-06-21 17:16:32

阅读数:10905

评论数:6

hadoop深入研究:(四)——distcp

转载请注明出处:http://blog.csdn.net/lastsweetop/article/details/9086695 我们前几篇文章讲的都是单线程的操作,如果要并行拷贝很多文件,hadoop提供了一个小工具distcp,最常见的用法就是在两个hadoop集群间拷贝文件,帮助文档很详尽,...

2013-06-18 17:46:13

阅读数:11954

评论数:2

hadoop深入研究:(三)——hdfs数据流

以下几个小节并补独立,都是相辅相成的,要结合来看,你就会发现很多有趣的地方。转载请注明来源地址:http://blog.csdn.net/lastsweetop/article/details/90656671.拓扑距离这里简单讲下hadoop的网络拓扑距离的计算在大数量的情景中,带宽是稀缺资源,...

2013-06-12 17:38:20

阅读数:12528

评论数:11

hadoop深入研究:(二)——java访问hdfs

转载请注明出处,http://blog.csdn.net/lastsweetop/article/details/9001467所有源码在github上,https://github.com/lastsweetop/styhadoop读数据使用hadoop url读取比较简单的读取hdfs数据的方...

2013-06-03 21:28:09

阅读数:17386

评论数:6

提示
确定要删除当前文章?
取消 删除
关闭
关闭