![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 80
LambdaCC
我是LambdaCC
展开
-
HDFS中的压缩与解压缩机制
我们可以把数据文件压缩后再存入HDFS,以节省存储空间。但是,在使用MapReduce处理压缩文件时,必须考虑压缩文件的可分割性。目前,Hadoop支持以下几种压缩格式压缩格式UNIX工具算 法文件扩展名支持多文件可分割DEFLATE无DEFLATE.deflateNoNogzipgzipDEFL转载 2013-08-14 16:24:46 · 12345 阅读 · 0 评论 -
Hadoop的安全/权限管理
为什么要注重权限管理Hadoop集群装好了,其自身几乎没有对安全/用户权限的配置。用户可以轻易地伪造自己的身份来破坏Hadoop集群,例如,从client伪装成一个hdfs用户删除HDFS中的全部数据,或者伪装成mapred用户提交一个恶意的job。对于商业用户而言,数据安全是最重要的。所以,对于Hadoop集群而言,必须进行一定的安全配置,保证数据和集群的安全。原创 2015-05-20 14:45:31 · 10131 阅读 · 0 评论