hdfs API
-----------------------
1.
2. 搭建IDE
a.
b. 集成eclipse环境
1.将hadoop-eclipse-plugin-2.6.0.jar复制到
2.
3.
4.
5.创建hadoop链接:
a>.打开【MapReaduce Locations】视图-->右键【新建hadoop Location】
b>.General界面
Location name(显示在myeclipse上的名字):最好和namenode的ip地址一样,为了链接多个集群时方便访问。-->192.168.159.11
*Host:namenode端口号-->192.168.159.11
*Map/Reduce Port:9001 【默认8021】
*DFS Port:9000 【默认8020】
*User name(开启集群的用户名):hadoop
c>.Advanced parameters界面
*hadoop.tmp.dir:/home/hadoop/tmp/hadoop 【core-site.xml中配置的路径,这个选项必须得配置和xml中一样,防止在hdfs中操作,镜像文件改变后,没有保存在原来的镜像文件中。如果出现这样情况会导致,hadoop系统镜像文件起不来。下面几个配置道理是一样的。】
*dfs.namenode.name.dir:file:///home/hadoop/tmp/hadoop/dfs/name,file:///home/hadoop/tmp/hadoop/dfs/name1 【与hdfs-site.xml中配置一样】
*dfs.datanode.data.dir:file:///home/hadoop/tmp/hadoop/dfs/data,file:///home/hadoop/tmp/hadoop/dfs/data1 【与hdfs-site.xml中配置一样】
*dfs.namenode.checkpoint.dir: