Hadoop 2.2.0 Symlink的使用

原创 2013年12月04日 17:36:42
Hadoop 2.2.0允许创建软连接并且允许MapReduce程序直接处理这些Symlink。为了允许在集群中创建symlink,需要在配置文件hdfs-site.xml中增加如下的配置项:
  <property>
          <name>test.SymlinkEnabledForTesting</name>
          <value>true</value>
  </property>

  创建symlink有两种方式:一种是FileSystem.createSymlink方式,一种是FileContext.createSymlink方式。考虑到hadoop 1.0等的编码习惯,FileSystem的使用应该更为普遍。

HDFS符号链接和硬链接

前言初看这个标题,可能很多人会心生疑问:符号链接和硬链接是什么意思?这些概念不是在Linux操作系统下才有的嘛,HDFS目前也有?当然大家可能还会有其他疑问,没关系,在后面的内容讲述中答案会一一揭晓。...
  • Androidlushangderen
  • Androidlushangderen
  • 2016年10月15日 15:31
  • 3358

spark 与 hadoop的hdfs的连接(亲测有效)

出处::http://blog.csdn.net/oopsoom/article/details/24257981, 目前Spark的Run on的Hadoop版本大多是hado...
  • xingzhiqing
  • xingzhiqing
  • 2017年04月03日 21:39
  • 3177

创建文件的软连接

[dataanalyze@d7 prog]$ ll total 4 drwxrwxr-x. 11 dataanalyze dataanalyze 4096 Dec  4 20:11 hadoop-...
  • zhoujj303030
  • zhoujj303030
  • 2014年12月04日 20:23
  • 1051

java操作hdfs文件、文件夹

代码参考网上其他博文,在其基础上作部分优化。以下代码在win7 + jdk1.7 + eclipse3.7 + centos 7 + hadoop2.6条件下运行通过。 java工程需添加hadoop...
  • daxiang12092205
  • daxiang12092205
  • 2016年10月01日 14:55
  • 8053

ln 命令使用参数详解(ln -s 软链接)

常用的参数是-s,具体用法是:ln -s 源文件 目标文件这 里有两点要注意:第一,ln命令会保持每一处链接文件的同步性,也就是说,不论你改动了哪一处,其它的文件都会发生相同的变化;第二,ln的链接又...
  • mlljava1111
  • mlljava1111
  • 2016年07月09日 19:02
  • 366

eclipse 建立jar软链接 hadoop jar包整理

建立Jar包软连接 第一次: Libraries–>Add Library–>User Library –> next–> UserLibrary(创建名称)–> New(填写名字)–>OK...
  • beloveddarling
  • beloveddarling
  • 2016年10月13日 14:51
  • 787

Hadoop 2.2.0 (单机)安装,配置全过程

(本次安装是在64位 Cent OS的环境下) 1. 创建用户 useradd -d /home/user1 -s /bin/bash user1 2. 安装JDK 2.1 下载JDK版本 注明: 在...
  • windyboy911
  • windyboy911
  • 2014年01月10日 16:24
  • 2143

Hadoop 2.2.0 Eclipse插件使用

在windows下进行开发的时候,
  • nisxiya
  • nisxiya
  • 2014年11月02日 22:26
  • 817

Hadoop通过路径和和链接访问HDFS

如果既想在Hadoop服务器本地可以通过绝对路径如"/user/hadoop"方式访问hdfs,也想通过"hdfs://local host:9000/user/hadoop的方式访问hdfs,此时做...
  • sunrising_hill
  • sunrising_hill
  • 2016年12月10日 16:46
  • 5849

Linux下创建软链接

创建软链接:ln -s /newdisk/app-tpl/apache-tomcat-7.0.47/webapps/app-tpl-webapp/ /newdisk/UCMSServer/tomcat...
  • toto1297488504
  • toto1297488504
  • 2016年12月01日 19:58
  • 1116
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop 2.2.0 Symlink的使用
举报原因:
原因补充:

(最多只允许输入30个字)