Hadoop 2.2.0 Symlink的使用

原创 2013年12月04日 17:36:42
Hadoop 2.2.0允许创建软连接并且允许MapReduce程序直接处理这些Symlink。为了允许在集群中创建symlink,需要在配置文件hdfs-site.xml中增加如下的配置项:
  <property>
          <name>test.SymlinkEnabledForTesting</name>
          <value>true</value>
  </property>

  创建symlink有两种方式:一种是FileSystem.createSymlink方式,一种是FileContext.createSymlink方式。考虑到hadoop 1.0等的编码习惯,FileSystem的使用应该更为普遍。

HDFS符号链接和硬链接

前言初看这个标题,可能很多人会心生疑问:符号链接和硬链接是什么意思?这些概念不是在Linux操作系统下才有的嘛,HDFS目前也有?当然大家可能还会有其他疑问,没关系,在后面的内容讲述中答案会一一揭晓。...

spark 与 hadoop的hdfs的连接(亲测有效)

出处::http://blog.csdn.net/oopsoom/article/details/24257981, 目前Spark的Run on的Hadoop版本大多是hado...

使用Maven将Hadoop2.2.0源码编译成Eclipse项目

编译环境: OS:RHEL 6.3 x64 Maven:3.2.1 Eclipse:Juno SR2 Linux x64 libprotoc:2.5.0 JDK:1.7.0_51 x64 ...

spark结合Hadoop2.2.0 HA使用中遇到的问题

scala> rdd1.toDebugString 14/07/20 09:42:05 INFO Client: Retrying connect to server: mycluster/202....

Hadoop2.2.0使用之初体验

离10月15日Hadoop发布2.2.0这个稳定版本已经过去2个月了,最近终于抽了点时间搭建了一个3节点的集群,体验了一把YARN上如何跑Map/Reduce程序了。 每次搭建Hadoop测试集群都或...

【甘道夫】Hadoop2.2.0环境使用Sqoop-1.4.4将Oracle11g数据导入HBase0.96,并自动生成组合行键

【甘道夫】Hadoop2.2.0环境使用sqoop-1.4.4将Oracle11g数据导入HBase0.96,并自动生成组合行键...

Hadoop2.2.0+hive使用LZO压缩那些事

废话不多说,我在apache Hadoop2.2.0测试集群上配置支持使用LZO进行压缩的时候,遇到很多坑,不过最后到搞定了,这里把具体过程记录下来,以供参考。 环境: Centos6.4 64位 H...

基于Hadoop2.2.0版本分布式云盘的设计与实现

基于Hadoop2.2.0版本分布式云盘的设计与实现

Hadoop2.2.0版本多节点集群及eclipse开发环境搭建

鉴于部分网友在搭建hadoop2.2.0过程中遇到各种各样的问题,特记录本人搭建集群环境,以作参考。 环境: 1、虚拟机:VMware® Workstation,版本:10.0.0 2、操作系统:ub...

编写简单的Mapreduce程序并部署在Hadoop2.2.0上运行

经过几天的折腾,终于配置好了Hadoop2.2.0(如何配置在Linux平台部署Hadoop请参见本博客《在Fedora上部署Hadoop2.2.0伪分布式平台》),今天主要来说说怎么在Hadoop2...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop 2.2.0 Symlink的使用
举报原因:
原因补充:

(最多只允许输入30个字)