![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
厚积_薄发
梦想还是要有的,万一实现了呢?
Stay hungry, stay foolish. --Steve Jobs
展开
-
hadoop safemode----hadoop安全模式
hadoop安全模式在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示转载 2017-02-16 15:26:59 · 1045 阅读 · 0 评论 -
ViewFs----HDFS跨集群数据合并方案之ViewFileSystem
前言在很多时候,我们会碰到数据融合的需求,比如说原先有A集群,B集群,后来管理员认为有2套集群,数据访问不方便,于是设法将A,B集群融合为一个更大的集群,将他们的数据都放在同一套集群上.一种办法就是用Hadoop自带的DistCp工具,将数据进行跨集群的拷贝.当然这会带来很多的问题,如果数据量非常庞大的话.本文给大家介绍另外一种解决方案,ViewFileSystem,姑且可以叫做视图文转载 2017-02-16 17:54:10 · 5267 阅读 · 0 评论 -
hadoop-2.6.4集群编译搭建-阿里云和腾讯云
腾讯云阿里云 hadoop集群编译搭建fromhttp://blog.csdn.net/u014595668/article/details/52079753环境准备阿里云配置:[hadoop@lizer_ali ~]$ uname -a Linux lizer_ali 2.6.32-573.22.1.el6.x86_64 #1 SMP Wed Mar 23转载 2017-02-17 14:34:07 · 1622 阅读 · 0 评论 -
安全HDFS客户端初始化方式
转自:https://community.hortonworks.com/articles/56702/a-secure-hdfs-client-example.htmlShort Description:Explaining the creation of a secure HDFS client in JavaArticleIt takes about 3 lines of Java code...转载 2018-03-26 15:32:39 · 1678 阅读 · 0 评论