HDFS
文章平均质量分 73
qq_23229591
这个作者很懒,什么都没留下…
展开
-
hadoop压缩工具比较
hadoop里支持许多压缩算法。压缩的好处主要有两点:1.减少了文件占用的存储空间,原来上T的文件可能压缩完以后只需要两三百G的空间即可;2.文件的体积小了以后,数据传输的速度自然就快了。在现在的大数据环境下,这两点显得更加重要。所以现在hdfs文件系统上存的文件,如果数据量大到一定程度,都需要经过压缩处理。hadoop上常用的压缩格式包括gzip,lzo,snappy,bzip2。以...原创 2019-10-15 14:44:43 · 189 阅读 · 0 评论 -
HDFS文件系统介绍及简单API操作
HDFS文件系统HDFS概念概念HDFS是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它还是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有个字的角色。HDFS的设计适合一次写入,多次读取的场景,且不支持文件的修改。适合用来做数据分析,并不适合做网盘应用。组成HDFS集群包括,NameNode和DataNode以及Secondary N...原创 2018-07-30 21:23:35 · 586 阅读 · 0 评论