![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
iteye_19462
这个作者很懒,什么都没留下…
展开
-
HDFS 架构指南
HDFS 架构指南介绍Hadoop分布式文件系统(HDFS)是一个分布式的文件系统在廉价的硬件上运行。它与现有的分布式文件系统有很多相似之处。然而,从其他的分布式文件系统的差异是显着的。 HDFS是高容错和被设计为低成本硬件上部署。 HDFS的应用数据提供高吞吐量的访问,是适用于具有大型数据集的应用程序。 HDFS的满足一些POSIX的要求,流式方式访问文件系统数据。 HDFS的最初是...原创 2012-05-27 11:52:03 · 133 阅读 · 0 评论 -
HDFS 重启步骤
当配置文件有变更时,需要重新启动服务。如果只是NN参数有变化,DN是不需要重新启动的。1.把HDFS设置成safe mode2.关闭DN进程3.停止并重启NN进程4.启动DN进程...原创 2012-06-06 10:57:14 · 2729 阅读 · 1 评论 -
[solved] INFO hdfs.DFSClient: Could not obtain block
问题:10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live nodes contain current block解决:An Hadoop HDFS da...原创 2012-06-06 16:34:08 · 836 阅读 · 0 评论 -
HDFS-LocalFileSystem
LocalFileSystem Hadoop LocalFileSystem是客户端校验的类。在使用LocalFileSystem写文件时,会透明的创建一个.filename.crc的文件。校验文件大小的字节数由io.bytes.per.checksum属性设置,默认是512bytes,即每512字节就生成一个CRC-32校验和。 .filename.crc文件会...原创 2012-06-13 10:26:45 · 465 阅读 · 0 评论 -
HDFS-压缩
文件压缩带来了两大益处1)减少存贮空间2)加速网络(磁盘)传输。基于大数据的传输,都需要经过压缩处理。压缩格式压缩格式工具算法文件扩展名可分块DEFLATEN/ADEFLATE.deflateNogzipgzipDEFLATE.gzNobzip2bzip2bzip2.bz2YesLZO...原创 2012-06-13 10:30:05 · 123 阅读 · 0 评论 -
HDFS-序列化
序列化 序列化是把结构化的对像转为字节流,以便网络传输或存储到磁盘设备上。反序列化是一个相反的过程,即把字节流转变为一系列的结构化对象。 RPC序列化建议的特性1.紧凑(Compact)即方便网络传输,充分利用存储空间2.快速(Fast)即序列化及反序列化性能要好3.扩展性(Extensible)即协议有变化,可以支持新的需求4.互操作性(Interoperable...原创 2012-06-25 14:41:32 · 242 阅读 · 0 评论