HDFS
暗焰之珩
这个作者很懒,什么都没留下…
展开
-
Hadoop学习回顾之HDFS提纲
HDFSHDFS的设计理念:超大存储 廉价x86服务器 流式数据访问(一次写入,多次读取,如果不借助HUE,无法直接对hdfs文件进行修改保存,需要利用 hdfs dfs –put命令)HDFS缺点:实时访问弱,如要求秒级或者毫秒级数据访问,考虑使用HBase 不适合存储大量小文件,HDFS启动时,Namenode将所有元数据读至内存,一条元数据150B,内存小会对Nameno...原创 2018-08-22 17:41:49 · 251 阅读 · 0 评论 -
HDFS加密存储(HDP、Ranger、Ranger KMS实现)
HDFS加密存储,在CSDN上可以看到很多的前辈整理的博客,但是按照https://blog.csdn.net/linlinv3/article/details/44963429所介绍的那样在我的环境并不能达到预期效果,将自己对hdfs加密的理解和实际操作做一个简单整理。 首先,hdfs的加密方式为AES加密,先对AES加密做一个简单了解。AES算法对称加密算法...原创 2018-08-22 21:57:00 · 13730 阅读 · 4 评论 -
HDFS联邦+ViewFS
目录1.基本概念1.1背景2.测试配置2.1界面配置参数2.2查看node1上namenode VERSION的clusterid2.3node4节点安装secondary namenode2.4查看namenode的webUI3.命令行接口的统一3.1 Viewfs配置1.基本概念1.1背景HDFS主要包括两层:Namespace由目录...原创 2018-08-29 23:06:59 · 5075 阅读 · 0 评论