Hadoop
文章平均质量分 80
LambdaCC
我是LambdaCC
展开
-
HDFS中的压缩与解压缩机制
我们可以把数据文件压缩后再存入HDFS,以节省存储空间。但是,在使用MapReduce处理压缩文件时,必须考虑压缩文件的可分割性。目前,Hadoop支持以下几种压缩格式 压缩格式 UNIX工具 算 法 文件扩展名 支持多文件 可分割 DEFLATE 无 DEFLATE .deflate No No gzip gzip DEFL转载 2013-08-14 16:24:46 · 12347 阅读 · 0 评论 -
Hadoop的安全/权限管理
为什么要注重权限管理Hadoop集群装好了,其自身几乎没有对安全/用户权限的配置。用户可以轻易地伪造自己的身份来破坏Hadoop集群,例如,从client伪装成一个hdfs用户删除HDFS中的全部数据,或者伪装成mapred用户提交一个恶意的job。对于商业用户而言,数据安全是最重要的。所以,对于Hadoop集群而言,必须进行一定的安全配置,保证数据和集群的安全。原创 2015-05-20 14:45:31 · 10141 阅读 · 0 评论