![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 87
sheperd_shu
这个作者很懒,什么都没留下…
展开
-
开源日志系统比较
http://dongxicheng.org/search-engine/log-systems/转载 2011-07-30 14:33:51 · 695 阅读 · 0 评论 -
Hadoop IO
<br /> <br />总结:<br /> 本章包含了以下内容<br /> 第一,数据完整性,hadoop采用CRC来检测数据是否是完整的,在写入文件时,hdfs为每个数据块都生成一个crc文件。客户端读取数据时生成一个crc与数据节点存储的crc做比对,如果不原创 2011-05-22 15:12:00 · 3555 阅读 · 0 评论 -
facebook scribe日志搜集系统
这些天一直在研究facebook的scribe,本以为可以使用的,但是与目前系统接入不太契合,所以领导打算放弃“scribe”。还是打算把最近学习笔记公开下: Facebook Scribe 报告 1 scribe 介绍 1.1 scribe概述 scri原创 2011-08-15 14:04:58 · 2717 阅读 · 0 评论