前期配置好centos的namenode和datanode之后,能利用start-dfs.sh正常启动后可用Eclipse编写程序对hdfs文件系统进行相应的增删改查等操作。
- 首先需要配置hadoop的window环境变量,否则不能进行对hdfs进行正常操作。
打开我的电脑中的属性,环境变量,点新建添加HADOOP_HOME值为你的hadoop所在的目录(注意不要有中文),最后再把hadoop中的bin配置到Path中即可。
- 然后时jar包的导入,打开hadoop2.8.1(版本可能不同)文件夹—》share—》hadoop,将hdfs中的hadoop-hdfs-2.8.1.jar和hadoop-hdfs-client-2.8.1.jar和lib文件夹(依赖包)中所有jar包,以及common中hadoop-commom-2.8.1.jar和lib中所有jar包都同意导入到eclipse中的lib中,并且全部都add to build path。
- 注意:在进行文件上传的时候,需要hadoop2.8.1中bin目录中的某个.exe文件,需要c编译后导入到bin中。因为读取本地的文件需要用到这个.exe文件。
package hdfs;
import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import ja